В Москве Наум Эйтингон был назначен заместителем Якова Серебрянского, возглавлявшего Особую группу при председателе ОГПУ. Этот отдел, не подчинявшийся начальнику ИНО ОГПУ, был создан по инициативе председателя ОГПУ Рудольфа Менжинского в 1930 году с целью глубокого внедрения агентуры на объекты военно-стратегического значения и подготовки диверсионных операций в тылу противника на военный период. В начале 1930 года Наум Эйтингон вместе с Яковом Серебрянским выезжал в США для вербовки китайских и японских эмигрантов, которые могли бы пригодиться советской разведке в случае начала военных действий против Японии. В США Наум Эйтингон действовал параллельно с сотрудником нелегальной резидентуры Исхаком Ахмеровым. Он внедрил в одно из американских учреждений двух агентов, выведенных из Полыни на длительное оседание в США. Одним из завербованных Эйтингоном агентов был японский художник Потоку Мияги, который впоследствии вошел в знаменитую группу «Рамзай» Рихарда Зорге в Японии.
Однако, несмотря на существенные положительные результаты, Наум Эйтингон не сработался с Яковом Серебрянским и в 1931 году поставил перед руководством ОГПУ вопрос о своем переводе обратно в ИНО. Он был назначен руководителем 8-го отделения ИНО ОГПУ (научно-техническая разведка), сменив на этом посту своего будущего резидента в Испании Александра Орлова.
Что же произошло с Наумом Исааковичем Эйтингоном дальше? На должности начальника научно-технической разведки он проработал всего несколько месяцев. Уже в конце 1931 года Эйтингон был командирован во Францию, а затем в Бельгию, откуда возвратился лишь в 1933 году. В апреле 1933 года Наум Эйтингон назначается на должность начальника 1-го отделения ИНО, иными словами, становится руководителем нелегальной разведки ОГПУ.
К этому времени во внешней разведке произошли серьезные изменения. 1 августа 1931 года начальник Иностранного отдела Станислав Мессинг за открытое выступление против действий первого заместителя председателя ОГПУ Генриха Ягоды, сфабриковавшего дело так называемой «Промпартии», а также явившегося инициатором операции «Весна», направленной против военных специалистов Красной Армии, был снят с работы и в дальнейшем репрессирован. Руководителем ИНО был назначен выдающийся чекист Артур Христианович Артузов, разработавший свыше 50 оперативных игр типа «Трест» и «Синдикат», возглавлявший до этого Контрразведывательный отдел ОГПУ. Это был сильный и грамотный оперативник, блестящий организатор. Он принял решение укрепить кадры внешней разведки и расширить ее штат. Предвидя неизбежность прихода Гитлера к власти в Германии и, следовательно, неизбежность новой мировой войны, Артур Артузов еще в ноябре 1932 года отдал распоряжение об усилении нелегальной работы и о подготовке «легальных» резидентур к переходу на нелегальные формы работы в «особый период». По предложению Артура Артузова Наум Эйтингон, которому исполнилось всего 33 года, был назначен руководителем нелегальной разведки.
