Но каникулы секретной службы не могли длиться вечно. В марте 1918 года после подписания в Брест-Литовске российско-германского мирного договора, молодая советская республика оказалась в окружении. С севера, востока и юга при поддержке войск Антанты наступали белогвардейцы, а на западе, несмотря на мирный договор, наступали немцы. Чтобы выжить, требовалось заранее знать каждый шаг своего противника. Самую большую опасность представляли немцы они оккупировали значительную часть территории России.
К концу 1918 года новая секретная служба была сформирована в Народном комиссариате по военным делам и первоначально получила известность как Регистрационный отдел Красной Армии. В начале двадцатых годов она стала Четвертым управлением Генерального штаба, а ещё пять лет спустя превратилась в Разведупр, сокращение от Главного разведывательного управления. Его первым руководителем был старый большевик Ян Карлович Берзин, ставший впоследствии генералом. Давний друг Владимира Ильича Ленина, он несколько раз был приговорен к смерти и пожизненной ссылке. Французский писатель-коммунист Анри Барбюс описывал его в 1931 году, как «мужчину лет пятидесяти, в военной форме с двумя Орденами Красного Знамени на груди… ростом около ста семидесяти сантиметров, с бритой головой».
Вскоре у него появилось немало врагов среди иностранных коммунистов, поскольку Берзин явно ставил интересы безопасности России выше интересов мирового коммунистического движения.
Берзин изучал методы работы царской секретной службы, копировал их и улучшал. Со временем он создал центральный орган во главе с руководителем, первый помощник которого официально назывался командиром, что говорило о его ответственности за техническое и административное управление секретной службой.
Берзин создал в главном управлении шесть подразделений: Первое «Агентура» — отвечало за работу агентов за границей. Второе — «Оперативное управление» — занималось военной разведкой, диверсионной деятельностью и шпионажем. Третье — «Информационное управление» — отвечало за сбор, оценку и распространение полученной информации. Четвертое — «Главное управление подготовки» — контролировало отбор и обучение агентов и информаторов. Пятое — «Управление внешних сношений» — отвечало за инструктаж военных атташе. Шестое — «Управление разведывательной связи» (созданное позднее) занималось радиоразведкой.
Самым главным было Оперативное управление. Оно состояло из шести отделов, первые три из которых были созданы по географическому признаку: Западная Европа, Ближний Восток, Америка с Дальним Востоком и Индией. Четвертый отдел отвечал за приобретение технического разведывательного оборудования (радиопередатчики, чернила для тайнописи, фототехника и т. д.); пятый организовывал террористические операции за рубежом, а шестой занимался дезинформацией. Во время Второй мировой войны в западных военных округах дополнительно создавались шифровальные и разведывательные отделы.
