В военном ведомстве контрразведкой занимались те же офицеры Генерального штаба, в ведении которых находилась разведка. Некоторых шпионов удавалось разоблачить благодаря сведениям, полученным от зарубежной агентуры (как, например, в деле А.Н. Гримма). Однако государство не выделяло Генеральному штабу на борьбу со шпионажем никаких специальных ассигнований, а содействие в финансовом отношении департамента полиции имело формальный характер.
К началу XX века в связи с общим развитием агентурной разведки возникла насущная потребность более прочной и надежной организации контрразведывательной службы. Это было тем более необходимо, что Германия и Япония (занимавшие тогда лидирующее место в области военного шпионажа) раскинули на территории России огромные агентурные сети.
К началу русско-японской войны японцы наводнили своими шпионами все более или менее важные населенные пункты будущего театра военных действий. В Маньчжурии и Уссурийском крае японские агенты проживали под видом торговцев, парикмахеров, прачек, содержателей гостиниц, публичных домов и тому подобных заведений. А плохо организованная русская контрразведка оказалась не в состоянии успешно противостоять вражеской агентуре. Контрразведчикам не удалось завербовать опытных агентов-осведомителей и внедрить в японские разведорганы своих людей. В результате их деятельность ограничилась пассивной обороной, заключавшейся в аресте агентов противника, пойманных с поличным.
В периодической печати тех лет иногда попадаются сообщения о разоблачении японских шпионов, и не только в действующей армии, но даже во внутренних округах. Но, к сожалению, такое случалось достаточно редко!
После окончания войны с Японией и начала всеобщем военной реформы руководство военного ведомства предприняло эффективные меры по улучшению организации контрразведки. Усилилось сотрудничество офицеров Генерального штаба с охранными отделениями, которые стали выделять в их распоряжение своих агентов. В 1908 году, во время первого съезда старших адъютантов разведывательных отделений, была выработана общая система организации военной контрразведки в мирное время. Согласно этой системе, чины Отдельного корпуса жандармов, пограничной стражи, государственной полиции, таможни и корчемной стражи должны были вести контрразведку под общим руководством старших адъютантов разведывательных отделений штабов военных округов. Деятельность последних, в свою очередь, координировало 5-е делопроизводство главного управления Генерального штаба. Кроме того, контрразведчики установили постоянный контроль за проживающими на территории России иностранными гражданами.
