Этот долговязый нескладный юноша доставил Разумовскому своими непристойными выходками много горьких минут. Однажды он провертел дырку в стене своей комнаты, смежной с покоями обер-егермейстера, подставил к ней стулья и несколько вечеров подряд заставлял всех приходивших подсматривать за посещавшей Разумовского Елизаветой. Придворные не могли отказаться, только великая княгиня Екатерина Алексеевна была достаточно высокопоставленной дамой, чтоб открыто воспротивиться дикой выходке супруга. Остальные вынуждены были молча покрываться краской до ушей.
А между тем сцена, которую "зрители" увидели сквозь дыру в стене, с точки зрения современного человека была более чем невинна. Императрица Елизавета в домашнем наряде ( т.е. без регалий, орденов и лент ) за одним столом ужинала с болевшим тогда Алексеем Григорьевичем, он принимал ее в великолепном шлафроке ( род халата, подбитого мехом), накинутом на рубашку. Об этой квинтэссенции "запретного действа" для человека XVIII в. стоит вспоминать всегда, когда речь заходит о р а з н у з д а н н ы х нравах того времени. Между "неприличным" в современном смысле слова и "непристойным" по понятиям людей эпохи русского абсолютизма пролегает глубокая пропасть. Дело не столько в раскрепощении нравов, сколько в значительном смещении понятий. Императрица была для подданных существом почти божественного порядка и видеть ее запросто, в домашней обстановке мог далеко не каждый.
Выходка великого князя привела Елизавету в гнев и до глубины души оскорбила Разумовского, но даже он не мог высказать цесаревичу своего негодования. С этого времени Алексей Григорьевич, мягко говоря, недолюбливал Петра Федоровича. В последние годы царствования Елизаветы Разумовского оттеснили новые фавориты, сначала Н.А. Бекетов, а потом И.И. Шувалов.
Императрица старела, но не хотела сдавать позиций самой красивой дамы в Европе. Французский дипломат Ж.-Л. Фавье писал, что "никогда женщина не примирялась труднее с потерей молодости и красоты". Одним из средств борьбы с надвигавшимся увяданием Елизавета избрала молодых любовников. Но ее отношения с Разумовским до конца дней оставались дружескими и по-настоящему теплыми. Алексей Григорьевич не ушел в тень, и даже падение канцлера Бестужева-Рюмина, обвиненного в государственной измене, не отразилось на покровителе последнего. Столь почетное и прочное положение было возможно именно благодаря тому, что его с императрицей связывали тайные нерасторжимые узы.
