Разведка, равно как и другая серьезная работа, теперь для Семенова была недоступна. И тогда он, в поисках дела, где мог в полной мере проявить себя, снова нашел себе «горячую точку»: пошёл в ЦК и попросился на колхозную работу. Не он один сделал этот выбор — призыв партийцев на колхозную работу насчитывал 25 тысяч человек. По направлению Колхозцентра он попал в Хопёрский округ Нижне-Волжского края, где был назначен председателем крупного колхоза «Краснознаменец», состоявшего примерно из тысячи хозяйств и располагавшего 24 тысячами гектаров земли.
Осень 1929-го была временем начала сплошной коллективизации. Колхоз «Краснознаменец» был уже собран. В декабре Сталин объявил о конце НЭПа и переходе к политике «ликвидации кулачества как класса». Всю зиму активисты колхозного строительства изо всех сил ликвидировали кулачество, а кулачество, как могло, ликвидировало активистов и сельское хозяйство как таковое. К весне стало ясно, что дело движется к полной катастрофе сельского хозяйства, и 2 марта 1930 года в «Правде» была опубликована статья Сталина «Головокружение от успехов», где резко критиковались «перегибы на местах». На партконференции Хопёрского округа Семенов выступил с критикой политики партии в области коллективизации, но, развивая выводы Сталина, зашёл слишком далеко. Его выступление было вновь квалифицировано как правый уклон, после чего, к лету, Семёнова сняли с председательской должности. 25 ноября того же года Михайловская районная контрольная комиссия исключила его из партии за правооппортунистические взгляды, но уже через 5 дней (! ) ЦКК ВКП(б) восстановила его в рядах большевиков.
Начинался «великий перелом». Троцкого уже выслали из страны, а Бухарина уволили с поста редактора «Правды» и вывели из состава Политбюро. Не повезло и всем их друзьям, в том числе и Семенову. Одно время он работал начальником строительства Болшевского механического и чугунолитейного завода под Москвой, затем начальником авторемонтных мастерских ВОГФа (Всесоюзного объединения гражданского воздушного флота, которым до своей гибели в авиакатострофе в 1933 г . руководил бывший начальник Семенова по Главэлектро Гольцман). По словам биографа Семенова С. В. Журавлева, «отовсюду его „вычищали“ — слишком богатая биография вкупе с разрисованным выговорами партийной учетной карточкой рождала в коллективе настороженное отношение». После того, как по инициативе секретаря Краснопресненского райкома партии Никиты Сергеевича Хрущёва Семёнова уволили из ВОГФа, он попросился на прежнее место в Главэлектро. Однако и оттуда вскоре был уволен — всплыла работа под начальством Троцкого в Главэлектро и рекомендации троцкистов Крестинского и Серебрякова, данные ему для вступления в партию.
