Ответный удар Екатерины доказывал, что она многому научилась у своего канцлера. Императрица объявила о желании женить наследника Павла Петровича. На первый взгляд, это был триумф партии цесаревича, ведь по понятиям того времени брак доказывал совершеннолетие человека. Казалось, Екатерина II спешит выполнить все формальности для передачи сыну короны. Именно Никите Ивановичу было поручено подыскать достойную кандидатуру невесты. Группировка Паниных находилась в зените своей силы почти год, за это время многое можно было сделать, по крайней мере вытребовать из Москвы Петра Ивановича. Но канцлера подвела его всегдашняя медлительность и осторожность. Считая дело почти выигранным, он постарался не раздражать императрицу, чтоб не спугнуть так великолепно развивавшуюся интригу.
Первым неладное почувствовал именно Петр Иванович, переписывавшийся с Фонвизиным. Ему, человеку серьезному и семейному, в отличие от влюбчивого ветреного брата, было ясно, что брак надолго может отвлечь внимание цесаревича Павла от политики, а сохранение влияния на него отныне будет в зависимости от отношений с будущей супругой.
С начала 1773 г. императрица предпринимает шаги для возвращения Орловым былого политического могущества. Григорий Григорьевич вновь начинает появляться при дворе, именно он, а не Никита Иванович, сопровождает императрицу и Павла Петровича на встречу с невестой цесаревича - принцессой Вильгельминой Гессен-Дармштадтской, приехавшей в Россию.
Вскоре письма Фонвизина из Петербурга становятся довольно тоскливыми. В канун свадьбы наследника в сентябре 1773 г. он писал в Москву: "Мы очень в плачевном состоянии. Все интриги и все струны настроены, чтоб графа ( Н.И. Панина - О.Е. ) отдалить от великого князя... даже до того, что под претекстом ( предлогом - О.Е. ) перестраивать покои во дворце велено ему опорожнить те, где он жил... Бог знает, где граф будет жить и на какой ноге. Только все плохо, а последняя драка будет в сентябре, то есть брак его высочества, где мы судьбу свою узнаем". Данное письмо обращено не к Петру Ивановичу, а к сестре драматурга Е.М. Фонвизиной. Сведения, сосредоточенные в нем, вероятно, предназначались для передачи генералу П.И.Панину. Писать прямо становилось небезопасно, в конце лета, по повелению Екатерины, Волконский усилил надзор за Паниным.
Императрица приказала Волконскому послать к генералу "одного надежного человека выслушать его дерзкие болтанья". Петр Иванович, видимо, почувствовал слежку, прекратил агитацию и замкнулся. По донесениям Волконского, "сей тщеславный самохвал... гораздо утих и в своем болтанье несколько скромнее стал". Однако опытный чиновник сомневался в причине изменения поведения Панина: "от страха или для закрытия каких видов?" рассуждал он. Волконский предлагал императрице как можно скорее "отлучить от двора и от обеих резиденций" всех сторонников Паниных и тем самым "шайку сию рассыпать". Это легче было сказать, чем сделать, но кое что Екатерине удалось.
