Работа против иностранного шпионажа велась на основе советского законодательства. Еще в октябре 1921 г. СНК РСФСР издал декрет о проверке личного состава иностранных торговых судов, о пропусках для иностранных моряков в портовых городах. Задачи эти возлагались на органы ВЧК.
Приняв предложение «Американской администрации помощи» о завозе и распределении продовольствия в районах, охваченных голодом, Политбюро ЦК РКП(б) потребовало от чекистов не допустить развертывания работы американской разведки под прикрытием этой организации. Используя агентуру, наружную разведку и перлюстрацию корреспонденции, контрразведчики разоблачили нескольких американских разведчиков и завербованных ими агентов в Среднем Поволжье. Здесь следует отметить, что деятельность АРА в целом носила положительный характер, его сотрудники оказали большую помощь голодающим.
Контрразведывательная работа проводилась также в пограничных военных округах, на Украине, в Средней Азии. В 1921–1924 гг. были арестованы сотни агентов французской, английской, польской, турецкой и др. иностранных разведок, в том числе пытавшихся нелегально или по каналам репатриации проникнуть в СССР.
В 1924–1930 гг. была проведена операция «Синдикат-4» — (агентурное проникновение в английскую разведку под прикрытием легендированной организации «ВРИО». «Синдикат-4», в отличие от «Треста», был ориентирован не против «николаевцев» — сторонников великого князя Николая Николаевича, а приверженцев другого претендента на престол, великого князя Кирилла Владимировича — «кирилловцев». В ходе операции по легенде, разработанной ОГПУ, в СССР якобы действовала мощная, разветвленная антисоветская организация — Внутренняя национальная российская организация. На территории страны чекистами было создано 46 «явок» для связи с зарубежьем — в Москве, Одессе, Ташкенте, Хабаровске, Харькове, Баку, Краснодаре, Киеве, Нахичевани, Ростове-на-Дону, Ленинграде, Пскове и др., что позволило ОГПУ держать под контролем основные каналы проникновения эмиссаров эмигрантских центров.
Сотрудниками КРО были также выявлены и арестованы нелегально проникшие в СССР один из лидеров кадетской партии князь П.Д. Долгоруков, деятели РОВС штаб-ротмистр Г.Е. Эльвенгрен, полковник И.М. Сусалин, бывший офицер армии Юденича В.И.Анненков («Махров», «Арсеньев»), расстрелянные по приговору Коллегии ОГПУ в июне 1927 г. (в качестве заложников после теракта 7 июня в Ленинграде).
Контрразведчикам приходилось также вести борьбу с бандитизмом, антисоветскими мятежами (например, в Якутии в 1927 г., при подавлении которого отличились помощник начальника КРО С.В. Пузицкий и известный по операции «Синдикат-2» Г.С. Сыроежкин).
