Во главе ЖПУ железных дорог стояли начальники на правах командиров полков в чине генерал-майоров или полковников, назначались они приказами по Отдельному корпусу жандармов. Вплоть до 1906 года они не принимали участия ни в производстве дознаний по государственным преступлениям, ни в политическом розыске и наблюдении. Однако активная роль, которую сыграли выступления железнодорожников в октябрьской стачке 1905 года, заставила правительство принять срочные меры и возложить на ЖПУ железных дорог обязанности производства дознаний о всех «преступных действиях» политического характера, совершённых в полосе отчуждения железных дорог. При производстве дознаний начальники отделений подчинялись начальникам местных ГЖУ. На железных дорогах был создан также секретно-агентурный надзор, что обязываю ЖПУ железных дорог иметь собственную секретную агентуру.
Параллельно со столичными губернскими жандармскими управлениями действовали охранные отделения, к которым довольно быстро перешли основные функции политической полиции на местах. Первое охранное отделение, называвшееся Отделением по охранению порядка и спокойствия в столице, было создано в 1866 году при канцелярии петербургского градоначальника в связи с начавшимися покушениями на Александра II. Вторым было Московское (Секретно-розыскное отделение при канцелярии московского обер-полицмейстера), созданное 1 ноября 1880 года по распоряжению министра внутренних дел М.Т. Лорис-Меликова. Третьим — созданное в 1900 году в Варшаве.
Деятельность первых охранных отделений оказалась, по мнению властей, успешной. В связи с разраставшимся революционным движением и слабостью губернских жандармских управлений власти всё больше задумываются над тем, как усовершенствовать политический сыск, сделать его более организованным и гибким. В городах, где всё чаще происходили выступления рабочих и учащейся молодёжи, по инициативе Департамента полиции стали создаваться розыскные пункты (отделения). С августа 1902 года они открываются в Вильно, Екатеринославе, Казани, Киеве, Одессе, Саратове, Тифлисе, Харькове, Перми, Симферополе (Таврическое), Нижнем Новгороде.
Эти учреждения должны были осуществлять политический розыск, вести наружное наблюдение и руководить секретной агентурой. В Положении о начальниках розыскных отделений, утверждённом 12 августа 1902 года министром внутренних дел В.К. Плеве, указывалось, что «на обязанности начальников отделений лежит приобретение секретных агентов, руководство их деятельностью, а также выбор и обучение наблюдательных агентов»
