В январе 1945 года приказом Берии был назначен уполномоченным НКВД по 1-му Белорусскому фронту. К июню 1945 года его сотрудниками было арестовано свыше 26000 человек, более 500 немецких фольксштурмовцев были расстреляны в качестве заложников.
После освобождения Варшавы в марте – апреле 1945 года состоял советником НКВД при министерстве общественной безопасности Польши. В мае 1945 года являлся заместителем командующего 1-ом Белорусским фронтом по делам гражданской администрации.
29 мая 1945 года по представлению командующего фронтом ГК. Жукова Серову было присвоено звание Героя Советского Союза.
С 6 июня 1945 года – заместитель Главноначальствующего советской военной администрации в Германии по делам гражданской администрации, одновременно с 4 июля – уполномоченный НКВД в Группе советских оккупационных войск в Германии.
С мая 1946 года входил в состав возглавляемого членом Политбюро ЦК ВКП(б) ГМ. Маленковым Специального комитета по реактивной технике при СМ СССР; занимался организацией добычи и вывоза в СССР висмута, кобальта и урана, депортацией немецких специалистов; в октябре 1947 года присутствовал при испытании первой советской баллистической ракеты. Одновременно с марта 1946 года – заместитель министра, с февраля 1947 года – первый заместитель Министра внутренних дел СССР С января 1952 года – заместитель председателя вновь организованной Коллегии МВД СССР. В марте 1952 года выезжал на строительство Волго-Донского канала, строившегося заключенными.
В марте 1953 года, после смерти Сталина, был назначен одним из трех первых заместителей Берии в объединенном МВД.
С марта 1954 года – Председатель КГБ при СМ СССР В 1954 году направил в ЦК КПСС записку с предложением амнистировать сотрудничавших с оккупантами советских граждан. Практически все эти предложения вошли в указ Президиума Верховного Совета СССР «Об амнистии советских граждан, сотрудничавших с оккупантами в период Великой Отечественной войны 1941 – 1945 гг…» от 17 сентября 1955 года.
На посту председателя КГБ провел кадровую чистку. В течение трех лет было уволено за прямую или косвенную причастность к репрессиям около 18 000 сотрудников Комитета. Около 40 из них лишили генеральских званий. В то же время по его инициативе за четыре года, после его назначения, 85 сотрудникам впервые после 1945 года присвоены генеральские звания.
В октябре-ноябре 1956 года во время венгерских событий руководил оперативной работой органов КГБ в ВНР
