Хотя графине Эгмонт многие завидовали, она не была счастлива. В конце 1770 года в Париж приехал шведский принц Густав (1746–1792) под именем графа Хага и произвел там фурор (следующей зимой он узнает о кончине своего отца и проведет два месяца во французской столице уже в качестве короля Густава III). Графиня влюбилась в него без памяти — впрочем, чисто платонически. Три года спустя 33-летняя графиня Софи скончалась от туберкулеза, и семилетний граф де Шинон словно заново лишился матери. Теперь его вверили заботам гувернера — аббата Лабдана, выбранного ему в наставники герцогиней д’Эгийон, а с восьми лет определили в коллеж Дю Плесси при Сорбонне, на улице Сен-Жак, которому в свое время покровительствовал его знаменитый предок-кардинал. «Это воспитательное заведение тогда, как и всегда, отличалось чистотой и строгостью принципов и превосходным руководством образованием, — напишет позже граф Ланжерон в воспоминаниях о герцоге де Ришельё. — Господин де Ришельё был одним из достойнейших учеников; он проникся там любовью к полезным наукам, прочным знаниям и приобрел редкие и ценные качества, которые впоследствии унес с собой в свет». Там же мальчик обзаведется друзьями, в числе которых будет Оливье де Верак, двумя годами его моложе; их дружба продлится всю жизнь.
Весной 1774 года скончался Людовик XV, которого уже давно никто не называл Возлюбленным; на престол взошел его двадцатилетний внук, принявший имя Людовик XVI. Маршал де Ришельё сохранил свое положение и влияние при дворе, хотя новая королева Мария Антуанетта его недолюбливала.
Тем временем его сын, обремененный долгами, 20 апреля 1776 года снова женился — на Марии Антуанетте де Галифе, дочери генерального наместника в Бургундии и губернатора Макона, недавно представленного при дворе; ее семья разбогатела на торговле с антильскими колониями. Конечно, герцог де Фронсак, будучи совершеннолетним, уже не был обязан испрашивать разрешение отца на брак, однако мог хотя бы предупредить! Маршал де Ришельё считал этот союз мезальянсом, к тому же сын прежде отверг три гораздо более подходящие партии. Они рассорились, и дед забрал внука к себе. Теперь Арман жил в особняке д’Антен, где ему отвели апартаменты с окнами во двор, и почти не бывал в особняке Жюмилак у ворот Сент-Оноре, который снимал его отец.
Дом на улице Нёв-Сент-Огюстен был выстроен в 1705–1707 годах и уже тогда считался одним из красивейших в Париже; герцог де Ришельё приобрел его 26 февраля 1756 года за 300 тысяч ливров у герцога д’Антена и немедленно затеял там перестройку. Фасад главного здания имел 15 окон, боковое крыло — пять; сад треугольной формы доходил до бульвара (нынешний Итальянский бульвар), там стоял летний домик, построенный в 1759 году. Парижане в насмешку окрестили его Ганноверским павильоном в память о военной кампании 1757 года, больше напоминавшей грабеж среди бела дня.
