После смерти Петра I А. И. Румянцев сохранил высокое положение при дворе, однако в 1731 г., при Анне Иоанновне, попал в опалу – он, якобы, слишком настойчиво осуждал чрезмерную роскошь двора и даже ударил уличенного в казнокрадстве всесильного временщика Бирона. Румянцевы были сосланы в Алатырь (ныне – Чувашия), где провели три с лишним года. Но в 1735 г. Александр Иванович был восстановлен в звании генерал-лейтенанта и был назначен астраханским, а затем казанским генерал-губернатором.
В этом же, 1735 г., началась военная служба Петра Румянцева – по традиции, десятилетний отпрыск знатной фамилии был записан в лейб-гвардии Преображенский полк. При этом отец желал для сына дипломатической карьеры, а не военной, и потому в 1739 г. по его настоянию Петр был отправлен к дипломатическому представителю России в Берлине. Но юноша за границей не остепенился и делал все, чтобы его вернули в Россию, ибо «хочет солдатом быть» и ему «ничего знать или учить, окромя того, что к солдатскому делу принадлежит, не надобно». С поставленной задачей Петр справился быстро и успешно – вскоре он был возвращен на родину и зачислен, «под особливое и крепкое смотрение», в Сухопутный кадетский корпус.
Официальные биографии Петра Александровича Румянцева, говоря о его юношеских годах, оперируют обычно сухими фактами: после недолгой учебы в Кадетском корпусе он был отправлен в чине подпоручика в действующую армию, участвовал в Русско-шведской войне 1741–1743 гг. Когда по итогам этой войны в городе Або был заключен мир, отец послал его, к тому моменту уже капитана, с соответствующим донесением к императрице. Елизавета Петровна так обрадовалась этому известию, что тут же произвела юношу в полковники и препоручила командование Воронежским пехотным полком. В 1744 г. Александр Иванович Румянцев был возведен императрицей в графское достоинство, вместе с потомством, так что Петр стал еще и графом. В 1748 г. П. А. Румянцев женился на Екатерине Михайловне Голицыной (1724–1779) – женщине умной, красивой, образованной (она прекрасно знала, например, французский и немецкий языки) и обладавшей немалым наследственным состоянием.
Однако образцово-показательной биография Петра Румянцева в этот период его жизни была только на бумаге. У него и Екатерины родилось четверо детей: дочь Татьяна, умершая в младенческом возрасте, и три сына – Михаил, Николай и Сергей. Сыновья добились немалых успехов в жизни, Николай Петрович с 1809 по 1812 г. даже был канцлером Российской империи и первым председателем (с 1810 г.) Государственного совета. Но все трое, по разным причинам, остались холостыми, и род Румянцевых прекратил существование. С женой Петр Александрович прожил в согласии шесть лет, а затем отдалился от семьи. С середины 1760-х гг. супруги встречались крайне редко и общались только по переписке.
