Смерть Елизаветы была для Алексея Григорьевича страшным ударом. По словам саксонского министра графа Г. Брюля, "из всех русских вельмож достойнее всех себя показал фельдмаршал Разумовский, брат гетмана. После кончины императрицы он поверг к стопам нового монарха все свои знаки отличия, испрашивая как единственную милость, оставить за собой из всего огромного имущества одно только имение в Малороссии, где бы мог он провести остаток дней своих". Однако император отклонил его просьбу. В сущности Петр Федорович не был ни злым, ни мстительным человеком, он возвращал в столицу тех, кто подвергся опале в прежние царствования, и пока ни на кого не обрушил своей немилости. Новый государь оставил за Разумовским все его несметное богатство и высокий титул. Казалось бы, Алексей Григорьевич должен был испытывать благодарность к монарху. Но в том-то и была беда Петра Федоровича, что личным поведением он перечеркивал все хорошее, что делал.
Не дав Разумовскому отставки, император завел привычку каждый вечер посещать графа в его огромном Аничковом доме, чтоб выкурить трубку и по-приятельски выпить пива с вдовцом своей тетки. Ему даже не приходило в голову, что Алексей Григорьевич не в восторге от таких визитов. И дело не в том, что граф не курил табака, а пиву предпочитал "сладкие украинские водки". Пренебрежение к элементарным правилам приличия во время похорон покойной государыни и траура по ней в глазах современников выглядело как глумление над памятью Елизаветы. А этого Разумовский снести был не в силах. Возражать он не мог, но и видеть не желал. Поэтому Алексей Григорьевич снова и снова повторяет просьбу об отставке. Наконец, во время одного из приездов императора, граф подарил ему трость, украшенную драгоценными камнями, попросил принять миллион рублей и вновь завел речь о желании удалиться от двора. Манифест о вольности дворянства был уже подписан, и Петр вместе с дарами принял отставку Разумовского.
Алексей Григорьевич оказался первым из русских вельмож, кто сам, добровольно, оставил службу. Сделал он это очень мягко, не высказывая недовольства происходящим в стране, но недовольство подразумевалось уже в самом шаге. До появления Манифеста о вольности дворянства 1762 г. достойной отставки быть просто не могло. Речь шла только об опале и ссылке, часто сопровождавшейся конфискацией имущества. В 20-летнее спокойное царствование Елизаветы Петровны, благодаря религиозному обету императрицы, данному в ночь переворота, в России не действовала смертная казнь. Страх плахи и бесчестья уходил в прошлое, и вместе с чувством личной безопасности у дворянства появлялась уверенность в себе. Добровольная отставка такого знаменитого вельможи, как А.Г. Разумовский, была важным актом нового нарождающегося самосознания русского дворянского общества.
