От брака с первой женой А.А. Татищевой генерал имел 17 детей, которые умирали в младенчестве. Заставляя болезненную женщину снова и снова рожать, он в конце концов свел ее в могилу. В 1767 г. Панин опять женился, теперь на фрейлине М.Р. Вейдель, принесшей ему пятерых малышей, из них выжили только сын Никита, будущий канцлер, и дочь Софья.
После отставки Москва приняла Петра Ивановича как незаслуженно обиженного героя войны, и генерал блестяще воспользовался своим положением. При всяком удобном случае он старался задеть Волконского и выставить московские власти в невыгодном свете. В декабре 1772 г. скончался старый друг Панина -- тоже крупный московский масон, фельдмаршал Петр Семенович Салтыков, который будучи московским генерал-губернатором во время Чумного бунта 1771 г., бросил старую столицу на произвол судьбы и уехал в свое имение Марфино. Императрица уволила Салтыкова в отставку. 26 декабря 1772 г.Салтыков умер, но Волконский не распорядился оказать покойному должные воинские почести. Тогда Панин приехал в Марфино и встал у гроба с обнаженным палашом, отказываясь уйти до тех пор, пока не прибыл почетный караул. Этим поступком Петр Иванович снискал большое уважение москвичей ,быстро забывших позорное бегство Салтыкова и Старая столица превозносила благородное поведение отставного генерала.
С самого начала семидесятых годов в донесениях иностранных дипломатов при русском дворе мелькали отрывочные сообщения о том, что "низкие люди", как писал 2 августа 1771 г. английский посланник Каскарт, -- "желали свергнуть императрицу с престола под тем предлогом, что ей была вручена корона лишь на время малолетства сына, и возвести на престол великого князя, что они и намеревались исполнить в день св. Петра". Годом позднее новый британский посланник сэр Р. Гуннинг сообщал в Лондон 28 июня 1772 г. о цепи неудачных придворных заговоров, последний из которых был раскрыт буквально накануне его приезда в Петербург. Правительство удовольствовалось наказанием рядовых членов. Среди влиятельных лиц, "руководивших предприятием", назывались братья Панины и княгиня Е.Р. Дашкова, но Екатерина предпочла "не разглашать дела".
Любопытные сведения о политической борьбе того времени сообщил в своих мемуарах декабрист М.А. Фонвизин, племянник Дениса Ивановича. "В 1773 или 1774 г. - писал декабрист, - когда цесаревич Павел достиг совершеннолетия и женился,... граф Н.И. Панин, брат его фельдмаршал П.И. Панин, княгиня Е.Р. Дашкова, князь Н.В. Репнин,.. митрополит Гавриил и многие из тогдашних вельмож и гвардейских офицеров вступили в заговор с целью свергнуть с престола...Екатерину II. Павел Петрович знал об этом, согласился принять предложенную ему Паниным конституцию, утвердил ее своею подписью и дал присягу... Душою заговора была великая княгиня Наталья Алексеевна, тогда беременная". Один из секретарей Н.И. Панина - П.И. Бакунин - выдал императрице заговорщиков, Екатерина вызвала к себе Павла, который, испугавшись, передал матери список заговорщиков, но она демонстративно бросила бумагу в огонь, заявив, что не желает знать этих людей.
