Через несколько дней после упомянутой выше беседы супруги Зарубины выехали в США.
В Нью-Йорк Василий Михайлович и Елизавета Юльевна добирались через Дальний Восток. Их резидентуре предстояло начинать работу в США практически с нуля. До конца апреля
1941 года резидентуру в Нью-Йорке возглавлял Гайк Овакимян. Он прекрасно знал США и хорошо владел английским языком. По прикрытию он являлся инженером-консультантом смешанной советско-американской торговой компании Амторг. Овакимян сумел завербовать нескольких агентов по линии научно-технической разведки, которые долгие годы успешно сотрудничали с советской разведкой. Однако в апреле 1941 года он был арестован агентами ФБР на месте встречи с одним из своих источников, который оказался подставой. Лишь с началом войны по личному распоряжению президента Рузвельта Овакимян был выпущен из тюрьмы под крупный денежный залог и возвратился в Советский Союз.
Зарубины прибыли в США в январе 1942 года и сразу же активно включились в налаживание разведывательной работы. До апреля 1943 года Василий Михайлович был резидентом советской внешней разведки в Нью-Йорке, а затем до осени 1944 года — главным резидентом в США под прикрытием должности 2-го секретаря посольства СССР в Вашингтоне. Основное его внимание в работе было обращено на качественное улучшение агентурного аппарата. Перед войной на связи резидентуры НКВД в США имелось несколько десятков источников информации. Однако в связи с арестом резидента Овакимяна большая часть агентов была законсервирована. По предложению Зарубина Центр направил в США группу разведчиков-нелегалов для восстановления связи с законсервированной агентурой и наиболее ценными источниками информации, а также для ведения новых вербовочных разработок. В 1942 году нелегальную резидентуру в США возглавил ставший в дальнейшем легендарным разведчиком И.А. Ахмеров, который успешно решил эту задачу.
Под руководством В.М. Зарубина «легальная» резидентура в 1942 году завербовала несколько новых помощников и восстановила связь с рядом законсервированных агентов. Надежные источники информации были приобретены в основных исполнительных органах власти, в том числе в государственном департаменте, ряде военных ведомств, разведке и контрразведке США, научно-исследовательских организациях, фирмах и предприятиях. Резидентура вела также работу и в латиноамериканских странах, где у нее имелись источники разведывательной информации.
