Уход Мессинга, Бельского, Ольского, Воронцова и понижение Евдокимова привели к возвышению новых руководителей. В первую очередь это, конечно, Яков Самуилович Агранов, который сменил Бельского на посту руководителя ОГПУ по Московской области, а затем должен был возглавить Главное управление государственной безопасности, но на февральско-мартовском пленуме 1937 г. Агранов оправдывался: «Действительно, еще в конце 1935 г. по прямому предложению т. Сталина я был назначен начальником Главного управления государственной безопасности. Я ждал выписки из постановления ЦК. Этой выписки не было до конца 1936 года. Когда я спрашивал Ягоду, что означает эта задержка, т. Ягода говорил, что, видимо, ЦК считает правильной точку зрения его, Ягоды, что Главное управление государственной безопасности должно возглавляться самим наркомом. Ат. Ягода упорно в продолжение ряда лет сопротивлялся тому, чтобы кто-нибудь руководил ГУГБ помимо него. (Микоян: А почему вы не сказали ЦК партии об этом?) Я после решения ЦК заболел и долго отсутствовал. А когда я приехал, то занялся следственным делом по троцкистам. К тому же я должен был проявить в отношении себя немного скромности. Я считал, что если нет постановления ЦК о моем назначении начальником ГУГБ, значит, у ЦК имеются какие-то соображения на этот счет». Так или иначе, Ягода не отдал Агранову контроль над структурами ОГПУ.
Е.Г. Евдокимова сменил Георгий Андреевич Молчанов (см. ниже), а начальника иностранного отдела С. Мессинга сменил Артур Христанович Артузов. После ухода Артузова в Разведупр иностранный отдел возглавил Абрам Аронович Слуцкий, который являлся главным резидентом ИНО ОГПУ по странам Европы и возглавлял параллельный с московским центр разведки.
Разведчик Павел Судоплатов «уважал Слуцкого как опытного руководителя разведки» и внимательного человека. Иначе считал Орлов: «Его характерными чертами были лень, страсть к показухе и пресмыкательство перед вышестоящим начальством. Слабохарактерный, трусливый, двуличный Слуцкий в то же время был неплохим психологом и обладал тем, что называется «подход к людям». Одаренный богатой фантазией, он умел притворяться и артистически разыгрывать роль, которую в данный момент считал выгодной для себя. Его выразительные глаза, лучащиеся добротой и теплом, внушали впечатление такой искренности, что на эту приманку нередко клевали даже те, кто хорошо знал Слуцкого». Вместе с тем, он высоко оценивал профессиональные качества Слуцкого.
