Императрице очень не нравился выбор Завадовского, и тот, бедный, вынужден был оправдываться перед «блюстительницей морали». «Беру овечку из паршивого стада, — писал он Екатерине, — но на дух свой надеюсь твёрдо, что проказа ко мне никак не пристанет, наподобие как вынутое из грязи и очищенное от оной золото ничьих рук не марает».
Свадьба состоялась 30 апреля 1787 года. Невесте было двадцать, жениху почти пятьдесят. Екатерина сменила гнев на милость и назначила Веру Николаевну своей фрейлиной. Завадовский был влюблён в свою молодую жену. Брак был, помимо всего, выгодным, потому что приобщал новоиспечённого мужа к высшей аристократии страны.
Можно сказать, что они жили долго, но не скажешь, что счастливо. Первые шесть лет прошли вполне благополучно, а потом у них стали умирать дети. Умирали они в младенчестве. Родилось всего десять детей (немыслимое количество по нашим временам), осталось всего пятеро, а потом трое. Завадовский писал другу своему С.Р. Воронцову: «Я познал, какова радость, какова печаль от детей: пятерых погрёб, одна дочь шести месяцев остаётся, которая не одобрение, а более трепет сердцу наводит. Толику я несчастный отец! Хоть живу, но как громом поражённый; сам не чувствую своей жизни». В свете сплетничали, что оставшиеся в живых два сына и дочь Татьяна родились не от Завадовского, а от князя И.И. Барятинского. Что тут скажешь? На чужой роток не накинешь платок.
Смерть детей отразилась на здоровье Завадовского, да и возраст давал о себе знать. Очередной фаворит императрицы Платон Зубов его откровенно ненавидел, поскольку Завадовский имел, по его мнению, слишком большое влияние на императрицу. Двор всегда созвучен фавориту, вокруг Завадовского велись бесконечные интриги. Словом, он помышлял об отставке, но Екатерина и слышать об этом не хотела. Кому ещё она может доверить народное образование? Дабы удержать своего любимца подле себя, она награждает Завадовского орденом Святого Александра Невского, жалует титул графа Священной Римской империи, заодно этот титул получают и его братья — Яков и Илья Завадовские.
Екатерина скончалась, на трон вступил её сын Павел. Он вполне благосклонно отнёсся к ближайшему соратнику покойной матери. В день своей коронации 5 апреля 1797 года он пожаловал П.В. Завадовскому графское достоинство Российской империи, наградил его орденами Святого Андрея Первозванного и Анны I степени, а также назначил руководителем Государственного ассигнационного банка. Завадовский продолжал заседать в Сенате, но и, как прочие екатерининские деятели, скоро дождался отставки. Секретарь банка каким-то обманным путём получил на руки 7000 рублей. Правда, Завадовскому уже давно было не до банка, руководство им было чисто формальным. Император вспылил, а дальше всё понятно.
