Вскоре после фашистского похода на Рим Яков Фишман был переведен на работу в Германию, где продолжал занимать аналогичный пост военного атташе. В фонде секретариата наркома обороны СССР сохранился ряд его донесений из Берлина с грифом «совершенно секретно», адресованных Михаилу Фрунзе. Например, в письме от 10 марта 1925 года он сообщал: «… по приглашению директоров „Юнкерса“ посетил Дессау. Осмотрел авиационный и мотостроительный отделы, а также фабрики, производящие калориферы, ванны и пр. Общее впечатление у меня от организации работы в предприятии - хорошее. Все же поражает некоторая, я сказал бы, кустарность, которой я не ожидал встретить в сердце Германии в настоящее время. Отдельные процессы недостаточно механизированы. Это относится к мотостроительному отделу, который далеко уступает в этом смысле хотя бы итальянским мотостроительным заводам». Из донесений Фишмана выясняется факт его контактов в связи с изучением химического оружия с крупнейшим российским химиком-органиком, академиком Владимиром Ипатьевым. В письме от 14 мая он уведомлял Фрунзе: «Профессор Ипатьев и Гальперин сообщили мне об образовании специальной азотной комиссии при ВСНХ и об отпуске необходимых для организации дела сумм… В Германии, благодаря помощи наших друзей (это факт), удалось сломить упорство азотного магната Каро, который уже составил для нас проект по ЦИАНАМИДУ КАЛЬЦИЯ, ОКИСЛЕНИЮ И КОНЦЕНТРАЦИИ. Он мне его еще не передал, т. к. в последнюю минуту задурил и захотел получить снова подтверждение от З., так как по его сведениям, мы ведем теперь переговоры о поставках нам военного снаряжения Францией и пр.; в этом последнем случае Каро, как порядочный немец (между прочим, еврей), отказывается наотрез помогать нам ставить азотную промышленность. Я, конечно, заверил его в полной абсурдности всех этих сведений, но дело все-таки задержалось… Из Италии я привез исчерпывающий материал и предложение обеих фирм: Казале и Фаузере. Т. Гинзбург передал мне Ваше распоряжение о том, чтобы я сопровождал профессора Ипатьева в его предполагаемой поездке во Францию и в Италию. Думаю, что в конце мая удастся выехать во Францию…»
Просматривая донесения Фишмана из Берлина, можно заметить его неизменный интерес к химическому производству. Не случайно, вернувшись из Германии в Россию в августе 1925 года, он получил назначение на пост начальника Военно-химического управления Красной армии. События на фронтах Первой мировой показали, что в разряд наиболее уязвимых средств поражения стали входить боевые отравляющие вещества. Вполне логично, что в ходе реорганизации РККА, начавшейся в середине 20-х годов, особое внимание было уделено созданию специальных химических войск, испытанию и производству современного химического оружия, а также разработке средств защиты от него. В этом процессе реорганизации Фишман играл важную роль.
