Берзин стал работать в Регистрационном управлении с декабря 1920 года, возглавив его 2-й отдел, отвечавший за агентурную работу. Именно этому виду специальной деятельности в военной разведке уделялось наибольшее внимание. В сложных условиях Гражданской войны агентурной разведке удалось добиться больших успехов. Военные разведчики вскрыли планы и направленность действий белогвардейских войск и формирований иностранных интервентов. Агенты управления действовали в ряде крупных белогвардейских штабов, добывая важную информацию. К концу 1920 года агентурные источники военной разведки работали в шестнадцати капиталистических государствах, направляя в Москву важные сведения об антисоветской деятельности стран Антанты, военных мероприятиях в Прибалтике, Польше, Германии, Румынии, а также о состоянии армий Врангеля, Балаховича, Унгерна и Семенова.
Ян Карлович занимался анализом работы существующей агентуры, исключал из зарубежных сетей недостаточно результативно работавших или вызывавших подозрение лиц. Особое внимание он уделял подбору новых кадров для работы в агентурной разведке за рубежом. В 1921 году Берзина назначили заместителем начальника Разведупра, отвечавшего за агентурную разведку. Вскоре он сам совершил нелегальные поездки за пределы страны для проверки работы резидентур в Германии, Чехословакии, Польше и Англии. В 1924 году Яна Карловича поставили во главе Разведывательного управления Штаба РККА, образованного вместо прежнего Региструпра.
Берзин стал отвечать за военную безопасность Советского государства. Руководство страны требовало от Разведывательного управления добывать информацию о подготовке любой внешней агрессии. В Москве опасались консолидации белогвардейской эмиграции с антисоветски настроенными кругами капиталистических государств Европы, которые не отказались от намерений напасть на СССР и уничтожить первое в мире социалистическое государство. В партийных документах того времени, выступлениях представителей высшего руководства неоднократно отмечалась возможность такого развития событий.
Ян Карлович требовал от своих подчиненных объективно оценивать ситуацию, отделять реальные факты и события от пропагандистско- идеологических установок. Он всегда высоко ценил разведчиков, которые действовали и мыслили творчески, не боялись докладывать информацию, которая могла вызвать негативную реакцию в Центре.
В документах военной разведки того непростого времени отмечалось, что международная обстановка не содержала непосредственных военных угроз СССР, что позволило провести значительное сокращение численности Красной армии, а освободившиеся средства направить на восстановление народного хозяйства страны.
