С августа 1925 г. вновь в Экономическом управлении ОГПУ — помощник начальника 1-го отделения, с мая 1926 г. — начальник 8-го, а с декабря 1927 г. — 6-го отделения.
В начале 1928 г. переведен на работу в полномочное представительство ОГПУ по Средней Азии — и.о. начальника, с апреля 1929 г. — начальник КРО и одновременно начальник Особого отдела. С мая 1930 г. — помощник начальника СОУ полномочного представительства ОГПУ и одновременно зам. начальника Особого отдела СОУ ПП ОГПУ. Участвовал в боевых операциях против басмачей.
В январе 1931 г. переведен в ИНО ОГПУ. Под псевд. «Артем» направлен резидентом в Берлин, где действовал под прикрытием должности сотрудника полномочного представительства СССР в Германии. Благодаря широкой агентурной сети в политических партиях, промышленных и финансовых кругах Германии возглавляемый «Артемом» разведывательный аппарат регулярно снабжал Центр агентурными и документальными материалами по внутренней и внешней политике германского правительства, о деятельности германской разведки, проводимой через МИД, нарастающей активности нацистских и военных организаций. Летом 1931 г. резидентура информировала Москву о возможности прихода Гитлера к власти. В 1932 г. в Центр из Берлина были переданы данные о секретных переговорах рейхсканцлера Ф. фон Папена с правительствами западных государств, направленные на свертывание отношений с СССР и объединение европейских стран для агрессии против Советского Союза.
В 1933 г. был переведен нелегальным резидентом в Рим. По возвращении в СССР занимал руководящие должности в центральном аппарате ИНО ОГПУ, с апреля 1934 г. — помощник начальника, с июня — 2-й зам. начальника ИНО ОГПУ (с июля — ИНО ГУГБ НКВД), с 21 мая 1935 г. — 1-й зам. начальника ИНО. Неоднократно выполнял специальные задания за границей. С августа 1936 г. зам. начальника Секретно-политического отдела ГУГБ НКВД (с декабря — 4-го отдела ГУГБ). С марта 1937 г. — нарком внутренних дел БССР и начальник особого отдела Белорусского ВО. В мае 1938 г. отозван в Москву и утвержден начальником 3-го управления (транспорта и связи) НКВД СССР.
Депутат Верховного Совета СССР 1-го созыва. Награжден орденом Ленина, двумя знаками «Почетный работник ВЧК-ГПУ», именным оружием.
5 сентября 1938 г. уволен со службы. Арестован 24 сентября 1938 г. Приговорен Военной коллегией Верховного суда СССР к высшей мере наказания как участник заговора в НКВД и расстрелян 22 февраля 1939 г.
