Оказавшись в эмиграции, Кутепов продолжил вооруженную борьбу против большевиков. При создании РОВС он возглавил его боевую организацию.
К 1929 году РОВС объединял в своих рядах уже около ста тысяч бывших белогвардейцев. При этом белые офицеры считали себя находящимися на военной службе, проходили переподготовку, изучали боевые возможности РККА. Таким образом, в случае новой войны в Европе под знамена противников СССР боевая организация РОВС могла выставить, хотя и изрядно поредевшие в Гражданскую войну, полки бывшей Добровольческой армии, структуру которой руководство РОВС постаралось сохранить и в эмиграции.
Среди руководителей этой организации Кутепов являлся наиболее активным сторонником террористической деятельности. Он выступал за заброску в СССР групп боевиков для проведения терактов, вплоть до ликвидации лидеров государства и высшего командования Красной армии. Среди предлагаемых им жертв значились Сталин, Бухарин, Менжинский, Крыленко и другие руководящие работники ВКП(б), военного ведомства и ОГПУ. И неудивительно, что под началом Кутепова террор и диверсии стали главным оружием РОВС в борьбе против Советского государства.
В Париже, куда в конце 1929 года Кутепов перенес штаб-квартиру РОВС, а также в Праге, Софии, Берлине и Варшаве, где имелись филиалы Русского обще воинского союза, готовились боевые группы для заброски на советскую территорию для проведения терактов и организации вооруженных выступлений населения против советской власти. Эта работа проводилась в тесном контакте со спецслужбами Франции, Польши, Румынии и Финляндии.
В одной из своих работ Павел Судоплатов писал: «Агония Гражданской войны в Советской России завершилась войной терроризма, который пришел в Советский Союз в лице эмиссаров боевого подразделения Русского общевоинского союза, организовавших серию взрывов и ряд покушений на советских военных и партийных работников. Задача группы Серебрянского заключалась в том, чтобы парализовать террористическую деятельность эмиссаров РОВС».
Руководство РОВС активно налаживало связи с контрреволюционным подпольем в России, чтобы изучить возможности для свержения власти большевиков. В секретной инструкции для боевиков, разработанной Кутеповым, подчеркивалось: «План общей работы представляется в следующем виде — террор против… советских чиновников, а также против тех, кто ведет работу по развалу эмиграции».
Так, руководству ОГПУ стало известно, что в марте 1927 года генерал Кутепов, тогда еще бывший заместителем председателя РОВС, провел в Финляндии совещание с членами боевого крыла организации, на котором заявил о необходимости немедленно начать террористические акции на территории СССР. Это заявление было поддержано участниками совещания и начало активно реализовываться. Так, только в июне 1927 года боевиками РОВС было осуществлено несколько террористических актов:
