В состав Главного управления государственной безопасности (ГУГБ НКВД СССР) вошли основные оперативные подразделения бывшего ОГПУ СССР:
Особый отдел (00) — (контрразведка и борьба с вражескими действиями в армии и на флоте) (255 человек по штату, начальник — М.И.Гай).
Секретно-политический отдел (СПО) — (борьба с враждебными политическими партиями и антисоветскими элементами) (196, Г.А.Молчанов).
Экономический отдел (ЭКО) — (борьба с диверсиями и вредительством в народном хозяйстве) (225, Л.Г.Миронов).
Иностранный отдел (ИНО) — (разведка за границей) (81, А.Х.Артузов).
Оперативный отдел (Оперод) — (охрана руководителей партии и правительства, обыски, аресты, наружное наблюдение) (293, К.В.Паукер).
Специальный отдел (Спецотдел) — (шифровальная работа, обеспечение секретности в ведомствах) (100, Г.И.Бокий).
Транспортный отдел (ТО) — (борьба с вредительством, диверсиями на транспорте) (153, В.А.Кишкин).
Учетно-статистический отдел (УСО) — (оперативный учет, статистика, архив) (107, Я.М.Генкин).
Всего по штатам ГУГБ НКВД СССР значилось 1410 человек. Работой ГУГБ руководил сам нарком внутренних дел СССР (нарком ВД СССР) Г.Г.Ягода. Формально в этот период должности начальника ГУГБ не существовало, но фактически аппарат госбезопасности возглавлял первый зам. наркома ВД СССР Я.С.Агранов. Вторым заместителем наркома ВД СССР был назначен Г.Е.Прокофьев. Оба ранее являлись заместителями Председателя ОГПУ СССР.
В АХУ НКВД СССР входили: административно-хозяйственный отдел (АХО), хозяйственный отдел (ХОЗО), отдел связи, санитарный отдел, сельскохозяйственный отдел, тюремный отдел, поликлиника и больница, три автобазы, комендатура, пожарная охрана, изоляторы: Бутырский, Сретенский, Особого назначения, а также Челябинский, Верхнеуральский, Суздальский и Ярославский. Кроме того, в центральный аппарат НКВД СССР входили партком, профком, кооперативное управление, рабфак, и некоторые другие. Всего по штатам центрального аппарата НКВД СССР значилось 8211 человек.
На основании постановления ЦИК СССР от 17 августа 1934 года Конвойные войска были включены в состав Внутренней охраны НКВД СССР.
На основании постановления ЦИК и СНК СССР от 27 октября 1934 года исправительно-трудовые учреждения Наркомюста (дома заключения, изоляторы, исправительно-трудовые колонии, бюро принудительных работ) были переданы в состав ГУЛАГа НКВД СССР, где был организован Отдел мест заключения.
На основании постановления СНК СССР от 22 ноября 1934 года в составе НКВД СССР был организован Отдел лесной охраны во главе с А.Г.Горяновым (приказом НКВД СССР от 15 марта 1936 года Отдел лесной охраны НКВД СССР был включен в состав ГУРКМ НКВД СССР, а начальником Отдела лесной охраны ГУРКМ НКВД СССР был назначен С.Ф.Белоногов; на основании постановления ЦИК и СНК СССР от 2 июля 1936 года Отдел лесной охраны из состава ГУРКМ НКВД СССР был передан в состав Главного управления лесоохраны и лесонасаждений при СНК СССР).
