Специальный отдел обеспечивал охрану государственных тайн, осуществлял надзор за порядком хранения секретных документов и, что самое важное, ведал шифровальным делом. Он занимался перехватом иностранных шифров, расшифровкой корреспонденции и составлял шифры для всех советских учреждений как внутри, так и вне страны. Кроме того, отдел инспектировал тюрьмы и другие места заключения. Здесь же было сосредоточено изготовление необходимых для нужд разведки фальшивых документов. Ввиду особого значения специального отдела, а также в связи с тем, что его начальник Г. И. Бокий (член партии с 1900 г.) пользовался большим влиянием в руководстве партии, он фактически не подчинялся ни Менжинскому, ни Ягоде, а находился в ведении ЦК.
Отдел пограничной охраны управлял частями особого назначения ОГПУ, предназначенными для карательных функций, и пограничными войсками.
Оперативный отдел ведал организацией наружного наблюдения, причем его персонал (по дореволюционной терминологии – филеры) обслуживал все остальные отделы. Ему была подчинена также комендантская часть, в круг задач которой входило производство арестов, обысков и приведение в исполнение смертных приговоров.
Информационный отдел осуществлял секретный надзор за настроениями населения через сеть осведомителей из числа советских граждан. Здесь же были сосредоточены политическая цензура и перлюстрация корреспонденции, обращающейся внутри СССР.
Экономическое управление занималось борьбой с промышленным шпионажем, финансовыми и хозяйственными преступлениями.
Восточный отдел, в отличие от прочих, функциональных, можно было бы назвать национально-территориальным; в сферу его деятельности входил контроль за обеспечением государственной безопасности в азиатских республиках СССР и среди мусульманских национальных меньшинств.
Особое место занимал иностранный отдел во главе со вторым заместителем председателя ОГПУ и выделенный из общей структуры управления. Несколько лет во главе его стоял Трилиссер, с которым Агабеков работал в непосредственном контакте. Отдел фактически руководил всей разведкой за рубежом. Конкретно это означало, что его сотрудники, добывая секретную информацию, доставляли материал для анализа политического, экономического и отчасти военного положения иностранных государств. Главным потребителем информации отдела были всесильное Политбюро ЦК и лично Сталин. На базе сведений, доставленных разведкой, в значительной степени основывались внешнеполитические стратегия и тактика советского режима. Заметим, что специально военной разведкой в тот период ведало Разведывательное управление штаба Рабоче-Крестьянской Красной Армии. Его штатный аппарат за границей составляли военные атташе посольств, а нелегальная агентура вербовалась независимо от ОГПУ.
