Секретно-политический отдел — заместитель начальника Генрих Самойлович Люшков (ранее помощник начальника и начальник 2-го отделения), помощник начальника (и начальник 4-го отделения) М.С. Горб;
Особый отдел — начальник отдела М.И. Гай, начальники отделений Семен Григорьевич Гендин, Владимир Семенович Гарт, Владимир Маркович Кононович;
Оперативный отдел — К.В. Паукер, заместитель начальника Зиновий Маркович Волович, помощники начальника Борис Яковлевич Гулько, М.М. Алиевский;
ЭКУ-начальник управления Л. г. Миронов, помощник начальника Д.М. Дмитриев (до 1933 г. этот пост занимал также A.M. Минаев-Цикановский), начальники отделений Я.П. Ржавский, Я.Ш. Дашевский, Я. г. Рыбальский, И.И. Ильицкий, Я.Б. Лоев, А. г. Горянов-Горный;
Главное управление пограничной охраны и войск ОГПУ — начальник политотдела Лев Борисович Рошаль;
Управляющий делами И.М. Островский (сменил на этом посту Вейнштока в феврале 1933 г.);
Главное управление рабочее-крестьянской милиции — Л.Н. Вельский (с января 1934 г.);
Кооперативное управление войск, сотрудников ОГПУ и милиции — Моисей Борисович Шнеерсон (с марта 1934 г.).
В территориальных органах ОГПУ в период от смерти Дзержинского до изменения административного деления СССР, ликвидации губерний и образования краев и областей (1928–1930 г.г.) губернские отделы возглавляли: Курский — Б.М. Гордон (с декабря 1926 по июнь 1928 г.), Вятский — З.К. Аргов (до лета 1928 г.), в ПП ОГПУ в ЛВО — полпред (до октября 1929 г.) С.А. Мессинг, Вологодский ГО — вр. и. д. начальника Николай Сергеевич (Карпель Рафаилович) Шершевский (апрель-октябрь 1927 г.); в Приволжском ВО — начальник Самарского ГО Б.А.Бак (с ноября 1927 г.); ГПУ автономных республик РСФСР — в Крыму полпред г. Я. Раппопорт (апрель 1928-декабрь 1929 г.). Также руководящие посты занимали: в ПП по Сибирскому краю — зам. полпреда И.Б. Лернер (1928–1929 г.г.), в ПП по Белорусскому ВО — зам. полпреда З.М. Залин (с июня 1927 г.), в ПП в Средней Азии — полпред Л.Н. Вельский, зам. полпреда М.Д. Берман (в 1927–1928 г.г. одновременно председатель ГПУ Узбекской ССР), председатель ГПУ Турменской ССР В.А. Каруцкий. В ГПУ УССР и ПП по Северо-кавказскому краю в интернациональных колективах было немало руководящих чекистов-евреев (в Ростове под руководством Евдокимова работали П. г. Рудь, В.М. Курский, И.Я. Дагин, Я.А. Дейч, Я.М. Вейншток, С.Н. Миронов, Л.И. Коган и др., занимавшие различные крупные посты).
К середине 1930 г. после проведенной реформы в РСФСР насчитывалось 8 краев и 6 областей. Среди их руководителей в период до ликвидации ОГПУ в июле 1934 г. были следующие чекисты еврейского происхождения:
