Серов пользовался доверием у Хрущева, сопровождал его в зарубежных поездках, выступил в его поддержку на июньском (1957 г.) пленуме ЦК КПСС против фракционной группы Молотова, Маленкова, Кагановича. Однако, будучи человеком резким, грубым и бестактным, сумел испортить отношения со многими членами партийно-государственного руководства – Микояном, Шверником, Кириченко, Мухитдиновым. Обращались с жалобами на него в ЦК и подчиненные, в частности, начальник следственного управления КГБ М.П. Маляров и другие.
8 декабря 1958 года Серов был освобожден от должности председателя КГБ и назначен начальником ГРУ Генштаба ВС СССР в ранге заместителя начальника ГШ.
Он был награжден пятью орденами Ленина, тремя орденами Красного Знамени, орденом Суворова 1-ой степени, двумя орденами Кутузова 1-ой степени, медалями.
Избирался депутатом Верховного Совета СССР
Кандидат в члены ЦК КПСС с 1939 по 1956 годы, член ЦК КПСС с 1956 по 1961 годы.
На 22-ом съезде партии в 1961 году не был переизбран в ЦК. В 1962 году Указом Президиума ВС СССР лишен ордена Красного Знамени, полученного в 1944 году за депортацию крымских татар.
После разоблачения агента ЦРУ и СИС полковника ГРУ Пеньковского 2 февраля 1963 года был снят с должности. 12 марта «за потерю политической бдительности и недостойные поступки» лишен звания Героя Советского Союза и орденов Ленина и понижен в звании до генерал-майора.
С февраля 1963 года служил помощником по военно-учебным заведениям командующего войсками Туркестанского, с августа того же года – Приволжского военных округов.
9 апреля 1965 года решением КПК при ЦК КПСС был исключен из партии «за нарушение социалистической законности и использование служебного положения в личных целях». С сентября 1965 года находился в отставке. Неоднократно пытался добиться реабилитации, обращаясь к руководителям партии и государства Брежневу, Андропову, Горбачеву, но безуспешно.
В 1995 году (посмертно) указом президента Польши Л. Валенсы был лишен польского ордена «Виртути Милитри».
Два соперника Виктора Абакумова, считавшего себя в прямом и переносном смысле (ростом и профессионализмом) выше, как он однажды выразился «этих пигмеев», не давали ему покоя. Но именно их больше всего Берия замечал и награждал. Серов был вместе с Хрущевым на Украине – этот тандем еще покажет свои клыки «всесильному хозяину» военной контрразведки.
Судя по всему, у Абакумова было достаточно причин, мягко выражаясь, с предубеждением относиться к Круглову и Серову. Для него, прослужившего в органах с 1932 года в течение шести лет в самом низу, были непонятны такие выдвижения. В одном случае абсолютно гражданского человека – «пиджака», а в другом – абсолютно военного «сапога». Это были чужие среди своих, и они отпугивали непредсказуемостью. Но самое главное – они были опасные конкуренты, которых стоило бояться, но с которыми он мог в силу оперативного опыта побороться.
