3 отдел (Контрразведывательный отдел) (КРО) — (комиссар гб 2 ранга Л.Г.Миронов);
4 отдел (Секретно-политический отдел) (СПО) — (комиссар гб 3 ранга В.М.Курский);
5 отдел (Особый отдел) (ОО) — (комиссар гб 2 ранга И.М.Леплевский);
6 отдел (Отдел транспорта и связи) (ТО) — (комиссар гб 2 ранга А.М.Шанин);
7 отдел (Иностранный отдел) (ИНО) — (комиссар гб 2 ранга А.А.Слуцкий);
8 отдел Учетно-регистрационный отдел) (УРО) — (майор гб Е.Цесарский);
9 отдел (Специальный секретно-шифровальный отдел) (Спецотдел) — (комиссар гб 3 ранга Г.И.Бокий);
10 отдел (Тюремный отдел) — (старший майор гб Я.М.Вейншток).
8 декабря 1936 г. Отдел кадров (ОК) ГУГБ НКВД СССР был реорганизован в Отдел кадров НКВД СССР (начальник — майор гб М.ИЛитвин).
28 ноября 1936 г. был также организован Секретариат НКВД СССР во главе с комиссаром гб 3 ранга Я.А.Дейчем.
В принятой 3 марта 1937 г. резолюции Пленума ЦК ВКП(б) были одобрены проводимые ЦК ВКП(б) мероприятия по организационной перестройке аппарата ГУГБ НКВД СССР и укреплению его новыми партийными кадрами, а также по удалению из аппарата разложившихся бюрократов, потерявших всякую большевистскую остроту и бдительность в борьбе с классовым врагом и позорящих славное имя чекистов. В частности, был одобрен арест и предание суду "одного из главных виновников позорного провала органов государственной безопасности в борьбе с зиновьевцами и троцкистами, бывшего начальника Секретно-политического отдела ГУГБ Молчанова".
В четвертом пункте резолюции Пленума было записано: "Продолжить и завершить реорганизацию аппарата Наркомвнудела, в особенности аппарата ГУГБ, сделав его подлинно боевым органом, способным обеспечить возложенные на него партией и Советским правительством задачи по обеспечению государственной и общественной безопасности в нашей стране". В резолюции говорилось: "учитывая важнейшее народнохозяйственное и оборонное значение железнодорожного транспорта и необходимости ограждения от антисоветской разрушительной деятельности врагов Советского Союза". Было поручено реорганизовать 6 отдел ГУГБ НКВД СССР (Отдел транспорта и связи), выделив для обслуживания железнодорожного транспорта специальный отдел, возложив на него борьбу со всеми видами контрреволюции на транспорте и освободив Транспортный отдел ГУГБ от функций охраны общественного порядка на железнодорожном транспорте, от несения дежурств на вокзалах, от борьбы с хищением социалистической собственности, от борьбы с хулиганством и детской беспризорностью, создав для охраны общественного порядка и борьбы с уголовной преступностью на железнодорожном транспорте специальную железнодорожную милицию, которую подчинить ГУРКМ НКВД СССР.
