Вообще говоря, Виктор Семенович, как и все его предшественники на Лубянке, заранее мог считать себя обреченным, потому что рано или поздно Сталин решал, что ему нужен новый человек. Он не любил, когда руководители госбезопасности засиживались. Считал, что они теряют хватку, рвение, успокаиваются. Опасался, что хозяева Лубянки обрастают связями, становятся слишком влиятельными. Настал момент, когда Сталин стал подыскивать замену и Абакумову.
Против Абакумова использовали письмо старшего следователя следственной части по особо важным делам подполковника Михаила Рюмина. Подполковник написал в ЦК, что Абакумов и его люди не расследуют деятельность вражеской агентуры, скрывают от Сталина собственные промахи, что Абакумов обогатился за счет трофейного имущества и потратил большие государственные средства на оборудование себе новой квартиры в доме № 11 по Колпачному переулку. Отсюда выселили шестнадцать семей, чтобы министр мог разместиться с комфортом.
Конечно, донос Рюмина не был личной инициативой следователя. Точно такое же письмо было использовано в свое время, чтобы снять с должности наркома Николая Ежова. Это обычная сталинская метода. Рюмин писал свое заявление прямо в кабинете завотделом партийных, профсоюзных и комсомольских кадров ЦК Семена Игнатьева, который станет преемником Абакумова на посту министра.
Абакумова обвинили в обмане ЦК. 4 июля 1951 года отстранили от дел, 12 июля вызвали в прокуратуру. Против него возбудили дело по признакам преступления, предусмотренного статьей 58-1б УК (измена родине, совершенная военнослужащим) и арестовали. Поместили в одиночку и именовали «заключенный № 15». В его трехсотметровой квартире провели обыск. Недавние подчиненные Абакумова описали невиданное по тем временам имущество – мебельные гарнитуры, холодильники, радиоприемники, все в больших количествах! У бывшего министра нашли 1260 метров различных тканей, много столового серебра, 16 мужских и 7 женских часов, 100 пар обуви, чемодан подтяжек, 65 пар запонок…
Арестовали и его жену Антонину Николаевну, работавшую в отделе военно-морской разведки МГБ, и с двухмесячным сыном посадили в Сретенскую тюрьму МГБ.
Абакумова обвинили в работе на иностранные разведки. В том, что он плохо расследовал «ленинградское дело», потому что дружил с секретарем ЦК Кузнецовым. И даже в том, что он сколотил в министерстве преступную группу из еврейских националистов. Понятно, что бывший министр МГБ совершенно не понимал, о каком заговоре идет речь. На этом основании комиссия ЦК, в состав которой входил его бывший шеф Берия, сделала заключение:
