Одно время Иностранный отдел входил в состав так называемого Секретно-политического управления, а потому именовался ИНО СПУ ОГПУ. Он вообще часто реформировался, менялась его нумерация в системе НКВД — НКГБ — МГБ и как отдела, и, позднее, как управления и главного управления. Был даже период, когда его вообще выводили из системы органов государственной безопасности.
Восемь лет ИНО возглавлял старый большевик со значительным опытом еще дореволюционной конспиративной работы Михаил Абрамович Трилиссер. Одновременно он был одним из заместителей председателя ОГПУ В. Менжинского. Именно Трилиссер в конечном счете и решил вопрос о зачислении Александра Короткова в центральный аппарат разведки, который насчитывал тогда всего чуть больше семидесяти человек. Сотрудники Центра распределялись по шести географическим секторам (позднее секторы стали называться отделениями). Примерно столько же человек работали в зарубежных резидентурах.
На территории иностранных государств советские разведчики тогда в первую очередь должны были выявлять контрреволюционные организации, ведущие подрывную работу против СССР, освещать линию этих стран по отношению к нему, выявлять правительственные и частные учреждения, занимающиеся шпионажем против Советской страны, добывать документы и материалы, которые можно было использовать в борьбе с этими организациями и их лидерами, наконец, они занимались контрразведывательным обеспечением советских представительств и граждан за рубежом.
К тридцатым годам ИНО обладал хорошими агентурными позициями в тех странах, которые справедливо считались главными возможными противниками СССР — Франции, Польше, в меньшей степени в Англии. Достаточно прочно советская разведка обосновалась и в не очень влиятельных в Европе, но граничащих с СССР Финляндии, Латвии, Эстонии, Литве. Не были обделены вниманием ОГПУ Турция, Югославия, Болгария, Румыния, в которых осело значительное число российских эмигрантов, в том числе военных. Разведчики и агенты ИНО действовали также в ряде стран Азии и в Северной Америке.
Самые сильные резидентуры — как легальные, так и нелегальные — действовали в Германии. На то было две причины. Первая — Берлин стал наряду с Парижем одним из двух главных центров русской эмиграции, в том числе контрреволюционной. В нем осело, по приблизительным подсчетам, более ста тысяч беженцев из бывшей Российской империи. Вторая — побежденная в Первой мировой войне Германия являлась центром притяжения, в котором сходились интересы таких тогда ведущих капиталистических держав, как Англия, Франция, Италия, набиравшие все больший вес в международных делах Соединенные Штаты Америки и даже Польша. Это означало, что Германия оказывалась кладезем политической и экономической информации всего западного мира.
