Во Франции Зарубины находились до 1933 года. По приезде в Москву после четырехлетнего пребывания на нелегальной работе, не получив даже кратковременного отпуска, они сразу же были вновь направлены за рубеж, на этот раз — в Германию.
В 1933 году в связи с приходом Гитлера к власти обстановка в Германии осложнилась. По существу, прекратилась деятельность нелегальной резидентуры в этой стране в связи с отъездом на родину большинства оперативных работников. Зарубин получил задание в кратчайший срок восстановить деятельность резидентуры. Он был назначен руководителем нелегальной резидентуры, а его супруга — оперативным работником. Разведчикам предстояло обосноваться в нацистской Германии, принять на связь агентуру и приступить к добыванию интересующей Москву информации о внутренней и внешней политике Гитлера, особенно информации, касающейся его планов в отношении СССР.
До Берлина Зарубин и его жена добирались по разным маршрутам. О получении вида на жительство на длительный срок не могло быть и речи. Поэтому сначала Зарубины находились в нацистском рейхе в качестве туристов. Тем не менее они сразу же приступили к приему на связь агентуры. Центр был вынужден пойти на этот риск, учитывая имеющийся у разведчиков богатый опыт нелегальной работы во Франции. Москва принимала во внимание и ряд благоприятных обстоятельств. В частности, немаловажную роль имело «прикрытие» нелегалов Зарубиных, которые должны были представлять американскую фирму. А накануне новой мировой войны немцы нуждались в хороших отношениях с США и внешне хорошо относились к американским гражданам.
Руководимая Зарубиным нелегальная резидентура была сформирована в кратчайшие сроки. В нее вошли оперработники, приехавшие в Берлин вслед за резидентом, а также шесть источников информации из числа местных граждан и иностранцев. Через некоторое время из Берлина в Центр пошла важная секретная информация.
С декабря 1933 года нелегалы Зарубины более трех лет действовали в гитлеровском рейхе. Работа в нацистской Германии требовала небывалого мужества в первую очередь от «Вардо», исходя из се национальности, которая хорошо понимала, что малейшая неосторожность в работе или в быту приведет ее в гестапо. И она, постоянно рискуя жизнью, успешно справлялась с заданиями.
Зарубин лично поддерживал конспиративную связь с наиболее ценными источниками информации, среди которых был, в частности, сотрудник гестапо Вилли Леман («Брайтенбах»). Он возглавлял отдел гестапо но борьбе с «коммунистическим шпионажем» и, пользуясь своим служебным положением, неоднократно спасал резидентуру НКВД от провалов и предупреждал о провокациях, которые готовились против советского дипломатического представительства и его сотрудников в Берлине. От «Брайтенбаха» регулярно поступала информация о внутриполитическом положении в Германии, ее военных приготовлениях против соседних стран. В 1935 году он сообщил сведения о создании Вернером фон Брауном принципиально нового вида оружия — знаменитых ракет «Фау». Успешная работа с немцем продолжалась до отъезда Зарубиных из Берлина в 1937 году. «Брайтенбах» был передан на связь сотруднику «легальной» резидентуры и стал одним из самых результативных ее источников.
