Впрочем, освоиться на новом месте он не успел. Сразу после смерти Сталина 5 марта 1953 года произошли кадровые перестановки. Брежнев был выведен и из числа кандидатов в Президиум ЦК КПСС, и из Секретариата. Через месяц, в апреле, он был назначен сначала начальником Главного политуправления военно-морского министерства, а немного позднее, после объединения военного и морского министерств, стал заместителем начальника Главного политуправления армии и флота. Падение было не просто болезненным, оно было катастрофическим. Трудно сказать, чем именно Брежнев так не угодил всесильному триумвирату – Хрущёву, Берия и Маленкову, пришедшему к власти после смерти Сталина, но ни один из вновь избранных на XIX съезде кандидатов и членов Президиума ЦК и секретарей ЦК не был понижен в должности столь радикально. Единственным утешением стало присвоение Брежневу в августе 1953 года звания генерал-лейтенанта.
По-настоящему в Главном политуправлении он не работал, выполняя лишь отдельные поручения начальника Главпура генерал-полковника А. С. Желтова. Лето 1953 года Брежнев провел в Днепропетровске. Казалось, карьера его завершена. Но через несколько месяцев в ней случился новый драматический поворот.
В январе 1954 г. Брежнева неожиданно вызвали в ЦК. Речь пошла о целине. В воспоминаниях об этом было сказано так: «Сама проблема была знакома, о целине узнал в тот день не впервые и новостью было то, что массовый подъем целины хотят поручить именно мне».
Хрущёв вспомнил об успешном и энергичном партработнике и решил поручить ему задачу по освоению целины. В январе 1954 года Хрущёв направил членам Президиума ЦК записку, в которой констатировал: зерновая проблема в стране не решена. Необходимо «расширение в ближайшие годы посевов зерновых культур на залежных и целинных землях в Казахстане и Западной Сибири». Однако руководство Казахстана возражало, ссылаясь на то, что распашка целинных земель лишит местное население пастбищ для скота.
Хрущёв действовал решительно и жестко: если руководство Казахстана возражает, тем хуже для него. 30 января 1954 года Президиум ЦК КПСС принял решение о смене руководства республики, и уже 5 февраля на пленуме ЦК Компартии Казахстана за неудовлетворительное руководство селом были освобождены от работы первый и второй секретари ЦК. Первым секретарем ЦК был единогласно избран П. К. Пономаренко, бывший первый секретарь ЦК Компартии Белоруссии, занимавший на тот момент посты заместителя председателя Совета министров СССР и министра культуры. Его кандидатуру предложил Г. М. Маленков. А вот кандидатуру второго секретаря ЦК Компартии Казахстана предложил Н. С. Хрущёв – речь, конечно, шла о Брежневе.
