В 1920 году Блюмкин вступает в РКП (б) и направляется на военную работу. Летом того же года он принимает участие в создании Гилянской Советской Республики в Северном Иране в качестве комиссара штаба Красной Армии. В сентябре 1920 года его направляют на учебу в Академию Генерального штаба. С 1922 года он работает в секретариате Реввоенсовета республики в качестве сотрудника по особым поручениям при Льве Троцком.
С 1923 года Блюмкин вновь работает в ГПУ, однако связей с Троцким не прерывает. Принимает участие в подготовке к изданию первого тома трехтомного труда Л.Д. Троцкого под названием «Как вооружалась революция».
В 1924–1925 годах Блюмкин занимал должность помощника (второго заместителя) полномочного представителя ОГПУ в Закавказье, а в 1926–1927 годах работал главным инструктором Службы внутренней охраны (органы госбезопасности) Монголии. Близость к Троцкому и быстрый карьерный рост вскружили голову Блюмкину, и он стал относиться к монгольским коллегам высокомерно и бестактно. В ноябре 1927 года по настоянию председателя ЦК Монгольской народно-революционной партии Дамбе-Дорчжи он был отозван в Москву, где, несмотря на протекцию начальника ИНО ОГПУ Трилиссера, несколько месяцев оставался в резерве внешней разведки.
В 1928 году Трилиссер поручает Блюмкину ответственное задание — организовать нелегальную резидентуру на Ближнем Востоке. Он должен был обосноваться в Стамбуле, а затем создать разведывательную сеть в Палестине и Сирии.
В сентябре 1928 года Блюмкин с паспортом на имя персидского купца Якуба Султанова выезжает из Одессы в Стамбул, где открывает магазин персидских ковров и успешно легализуется. Из Стамбула он совершает поездки в Иерусалим, Вену, Париж. В марте
1929 года, находясь в Берлине, Блюмкин узнает о высылке из СССР в Турцию его кумира Льва Троцкого. Блюмкин принимает решение немедленно возвратиться в Стамбул, где 12 апреля встречается с сыном Троцкого Львом Седовым. 16 апреля он встречается с самим «демоном революции» и в ходе продолжительной беседы заявляет о том, что «полностью передает себя в его распоряжение».
Блюмкин подробно инструктирует Троцкого относительно того, как организовать его личную охрану. Через сына Троцкого он регулярно передает Льву Давидовичу секретные материалы и финансовые средства стамбульской нелегальной резидентуры ИНО ОГПУ. Вскоре «легальная» резидентура ИНО ОГПУ информирует Москву о регулярных контактах Блюмкина с изгнанником.
