Под предлогом подготовки ГКП вооруженного восстания гестапо и другие полицейские силы разгромили партийные организации коммунистов. Все не успевшие скрыться депутаты рейхстага и местных выборных органов были арестованы. Тем временем полицейские отряды громили прокоммунистические организации и вламывались в местные отделения ГКП.
В конце февраля полиция наконец произвела налет на штаб-квартиру ГКП. Карл Либкнехт Хаус с его сетью тайных переходов и сложной системой сигнализации давно уже был главной целью берлинских ищеек. Тысячи коммунистов исчезли за колючей проволокой концлагерей, подвергаясь оскорблениям и издевательствам, без предъявления обвинений и официального ордера на арест. К апрелю 1933 года только в Пруссии число заключенных концлагерей достигло тридцати тысяч, и по крайней мере восемьдесят процентов из них были коммунистами.
Одновременно полиция заняла помещения германо-советских фирм и агентств, подозреваемых в укрывательстве советских шпионов. В конце марта во многих городах полиция произвела обыски в офисах нефтяного синдиката «Дероп», в начале апреля совершила налет на лейпцигское отделение советского торгпредства, а также произвела обыски в транспортных фирмах «Дерупра» и «Совторгфлот».
Однако с точки зрения контрразведки результаты этой обширной и энергичной программы оказались скудными: едва ли удалось выявить хоть одного шпиона. Сотрудник полиции сообщил историку Даллину: «Мы даже не могли установить личности этих субъектов. Сегодня она Клара, завтра Фрида, а в другом квартале города её зовут Миззи. Зачастую мы просто теряли след». В частной беседе даже Гиммлер признавал, что «долгие месяцы, если не годы, нам приходилось выполнять самую утомительную и скрупулезную работу, пока мы постепенно не сумели ликвидировать коммунистические подпольные организации, ряды которых постоянно пополнялись».
Агентов компартии было так трудно обнаружить, что нацисты стали выдумывать тайные организации коммунистов и подвергать репрессиям совершенно невинных людей. Полицейский инспектор Лотар Хаймбах, помощник начальника отделения гестапо в Дортмунде, вспоминает о деятельности в его антикоммунистическом отделе троих партийных фанатиков, которые постоянно фабриковали дела о «красных заговорах».
«Однажды вечером в ресторане, — сообщает Хаймбах, — у этих людей возникла идея раздуть до небес дело о некоем „аппарате“ и затем арестовать просто наугад несколько „врагов государства“. Впоследствии, когда они и в самом деле не смогут найти ни одного агента коммунистов или даже члена партии, в ход пойдут агенты-провокаторы, лишь бы придумать „аппарат“, чтобы потом его разрушить и обеспечить убедительную статистику для рапорта высокому начальству».
