О той поре его жизни сохранился анекдот, пересказанный историком Бантыш-Каменским. Однажды его отцу пришлось выложить портному за «платье» сына 20 тысяч рублей. Старший Разумовский в сердцах пожелал взглянуть на «знаменитую гардеробу» своего отпрыска. Одних жилетов у молодого графа оказалось несколько сот. «Зачем тебе столько? — сурово спросил его Кирилл Григорьевич. — Я вот двумя камзолами обхожусь». — «Между нами великая разница, — сострил граф Андрей. — Я — сын российского генерал-фельдмаршала, а вы — сын простого казака». Молодой граф приглянулся Наталье Алексеевне — первой жене цесаревича и по неосторожности стал её любовником. Бездетная дотоле царевна молодая с первой ночи понесла… Наталья умерла родами. Екатерина II завладела её перепиской — погибельной для графа. Любовные признания перемежались с политическими интригами. Граф Андрей был вовлечён в закулисные козни малого двора — за спиной царствующей императрицы. В бумагах покойной обнаружились политические прожекты его авторства. Вскрылись сношения Разумовского — через французских дипломатов — с министрами бурбонского дома. Были найдены денежные расписки — великая княгиня Наталья Алексеевна вечно нуждалась в средствах, не брезговала одалживаться и у западных царствующих особ в счёт будущих политических дивидендов.
Царица знала болезненную, наивно-ребяческую привязанность Павла к графу Андрею. Любыми средствами старалась разлучить с ним сына. Любовные шалости графа, на которые Екатерина II до поры смотрела сквозь пальцы (ой как грешна сама в этом была!), сыграли теперь роковую роль. Екатерина использовала недозволенный приём — показала Павлу письма Разумовского Наталье. Свидетельства об измене жены (с его лучшим другом!) оказались для Павла поистине ударом ниже пояса. Велико было потрясение. Столь же велик и страшен был гнев цесаревича. Очевидцы утверждают: именно с той поры изменился Павел Петрович — стал вспыльчивым, необузданным, с бурными припадками. Заболел вельможной болезнью — самодурством.
Русская кровь, как оказалось, текла в его жилах. Екатерина прижила его от своего любовника Сергея Салтыкова. В этом она сама недвусмысленно признаётся в своих «Мемуарах». Неслучайно царица посвящает их сыну — дабы объяснить ему, за что низвергла с трона «отца». И уже совсем не случайно оказалось между страницами рукописи покаянное письмо Алексея Орлова о «нечаянном» убийстве Петра III. Дескать, сотворил во хмелю, сгоряча не ведая, что делает. У Павла, обнаружившего это письмо, — гора с плеч: значит, матушка не отдавала прямого приказа об убийстве отца! А историки утверждают — граф Орлов писал это послание по просьбе Екатерины спустя много лет после событий. В те годы, когда престарелая императрица занялась ревизией истории — решала, что может, а что не должно остаться в летописи её правления. С обывательской точки зрения, признание это — чисто женская слабость, ошибочный ход царицы. Но Екатерина была слишком умна и искушена в царедворческих интригах, чтоб допустить такой промах. Сделано это с целью оправдать большее зло — низложение и убийство супруга — злом меньшим — рождением незаконного, не царского ребёнка. Но как тонко рассказывала, как целомудренно прикрывалась вуалью девичьей наивности.
