В жизни, как и в романе Моэма, побеждает более талантливая и богато одаренная натура . Промучившись около года в подмосковной глуши, Александр Матвеевич не выдержал. "Случай, коим я по молодости лет и по тогдашнему моему легкомыслию удален... стал от Вашего Величества,.. - писал он Екатерине из Дубровиц , - беспрестанно терзает мою душу... Возможно ли, чтобы я нашел случай доказать всем... ту привязанность к особе Вашей, которая, верьте мне, с моею только жизнью кончится". Императрица не оставила письма бывшего фаворита без ответа, но обстоятельства ее жизни изменились, теперь возле нее был другой - П.А. Зубов. В ответе Екатерина справилась о том, как поживают домашние Мамонова, мягко показывая тем самым, что просьба Александра Матвеевича теперь, после свадьбы, не реальна. "Сколь я к ней не привязан, - писал Мамонов о семье, - а оставить ее огорчением не почту".
Это была горькая правда. Жизнь молодых в Москве и Дубровицах нельзя было назвать счастливой. Александр Матвеевич бросался на стены от безделья. Не даром Потемкин, как бы он ни был рассержен на своего неблагодарного и корыстного протеже, советовал Екатерине не забывать о способностях молодого человека и отправить его куда-нибудь послом. Все что угодно, только не бездействие. Светлейший князь знал, о чем говорил. В жилах выходцев со Смоленщины, Дмитриевых-Мамоновых текло много польской крови. Григорий Александрович сам принадлежал к православной смоленской шляхте и понимал "национальные" особенности этой среды. В одном из писем Екатерине, доказывая пользу службы поляков в русской армии, он говорил: "Пусть лучше здесь себе головы ломают, чем бьют баклуши в резиденциях и делаются ни к чему не годными". Запертый в Дубровицах, Мамонов именно "бил баклуши в резиденции", и с каждым днем все больше нравственно опускался.
Ни в чем не желая упрекать себя, он считал жену виновницей своего главного несчастья - удаления от Екатерины и вынужденного безделья. Упреками и мелким домашним тиранством граф буквально изводил несчастную женщину, которая и так не чувствовала себя хозяйкой в доме, где каждая мелочь, каждая ваза, табакерка, перстень, платок напоминали об императрице. В Москве Дарья Федоровна родила двоих детей: Матвея и Марию, но и это не смогло вновь сблизить ее с мужем. Молодая графиня заметно чахла, и наконец в 1801 г. умерла. Ее супруг, замкнутый и избегавший общества, вынужден был сам заняться детьми. Александр Матвеевич относился к малышам скорее как добросовестный опекун, чем как любящий отец. Их окружало множество воспитателей и учителей, некоторые из которых были специально выписаны графом из Парижа. Надо отдать Мамонову должное, его дети действительно получили прекрасное образование, но отсутствие домашнего тепла болезненно сказалось впоследствии на характерах обоих.
