В июне 1928 года по указанию Центра Карин из США переехал в Германию, где также возглавил нелегальную резидентуру. Интересно, что для въезда в эту страну он воспользовался подлинными швейцарскими документами своего друга и начальника Артузова, настоящая фамилия которого была Фраучи.
Нелегальная резидентура Карина в Германии состояла из шести человек, включая курьера и содержателей конспиративной квартиры. Несмотря на это, она располагала обширной агентурной сетью, имевшей выходы на белогвардейскую вооруженную организацию Русский общевоинский союз (РОВС) во Франции, правительственные учреждения Германии, Франции и США. Поскольку с агентурой в других странах поддерживать связь через курьеров было затруднительно, в марте 1931 года Карин был переведен на нелегальную работу во Францию.
Во Франции Карин проработал до августа 1933 года и добился впечатляющих результатов в вербовочной работе. Руководимая им нелегальная резидентура имела «своих людей» в спецслужбах, важных правительственных учреждениях, выходы на главарей РОВС Кутепова и Миллера. За успешную работу во Франции Карин был награжден вторым нагрудным знаком «Почетный чекист».
Из служебной аттестации за 1933 год, подписанной начальником Иностранного отдела ОГПУ А.Х. Артузовым:
«Тов. Карин Федор Яковлевич, член ВКП(б) с 1919 года, работник ВЧК — ОГПУ с 1919 года является одним из наиболее опытных и квалифицированных руководителей разведки в условиях подполья. Считаю тов. Карина в первом десятке лучших организаторов-разведчиков СССР».
По возвращении в Москву в сентябре 1933 года Ф. Карин был назначен начальником 1-го отделения ИНО ОГПУ, занимавшегося ведением разведки в США и Европе. Ему было присвоено звание старшего майора госбезопасности, что соответствовало армейскому званию генерал-майор.
В связи с приходом к власти в Германии Гитлера и возросшей опасностью войны новому начальнику ведущего отделения внешней разведки предстояло реорганизовать работу «легальных» и нелегальных резидентур, прежде всего в Германии, с таким расчетом, чтобы на постоянной основе получать упреждающую информацию о планах и намерениях нацистов, в том числе о подготовке ими к войне. Эту задачу Карин решал успешно. Под его руководством были созданы «запасные площадки» германской нелегальной резидентуры ОГПУ в соседних странах. В случае осложнения обстановки в Германии предполагалось организовать с их помощью работу по Третьему рейху.
В связи с возросшей нацистской угрозой в мае 1934 года Политбюро ЦК ВКП(б) рассмотрело вопрос о координации деятельно ста Разведывательного управления РККА, Иностранного и Особого отделов ОГПУ. Решением ЦК партии начальник ИНО ОГПУ А.Х. Артузов был назначен по совместительству заместителем начальника Разведывательного управления Красной Армии. Ему было предложено в месячный срок проанализировать работу военной разведки и разработать меры по устранению недостатков, прежде всего многочисленных провалов военных разведчиков. При назначении на этот пост Артузов в качестве единственного условия оговорил право взять с собой в Разведывательное управление РККА около двадцати сотрудников ИНО ОГПУ. Просьба была удовлетворена. Федор Яковлевич Карин был переведен в военную разведку и назначен на должность начальника ее 2-го отдела, занимавшегося ведением военной разведки в странах Востока. Ему было присвоено звание комкора, что соответствовало воинскому званию генерал-лейтенант.
