С возвращением в столицу Бурбонов и установлением режима Реставрации положение многочисленных представителей клана Бонапартов, окруженных откровенной враждебностью новых властей, становилось угрожающим. Гортензия вознамерилась любой ценой обеспечить безопасность и материальную будущность своих детей. Она ясно видела, что из всех вождей антинаполеоновской коалиции может рассчитывать лишь на благоволившего к ее матери Александра I. Ее надежды на царя оправдались. При его активном содействии Гортензия Богарне-Бонапарт получает от Людовика XVIII титул герцогини де Сен-Лё, пенсию и апанаж (удел) в размере 400 тыс. франков, предназначенный ее сыновьям.
Неожиданное возвращение Наполеона с о-ва Эльба и последовавшие за этим Сто дней, завершившиеся его разгромом при Ватерлоо и окончательным отречением, в корне изменили ситуацию. Во Франции развернулся Белый террор в отношении бонапартистов и активных участников революции. 1 января 1816 г. был принят закон об изгнании всех членов семейства Бонапарт из Франции. Гортензия покинула Париж еще в июле 1815 г., успев заблаговременно распродать свое имущество. Одним из покупателей ее коллекции старинной живописи на очень выгодных для Гортензии условиях стал все тот же русский царь.
В это время ее настиг второй удар. Людовик Бонапарт, давно добивавшийся передачи ему на воспитание обоих сыновей, сумел «отсудить» у жены старшего, Наполеона-Людовика, которого в октябре 1815 г. Гортензия вынуждена была отправить к отцу, в Богемию. Младший, Луи-Наполеон, остался с матерью, которая в 1817 г. на вырученные от распродажи имущества средства и доставшееся после смерти матери наследство приобрела небольшой, но красивый замок Арененберг на севере Швейцарии, на границе с Баварией. Свой замок Гортензия превратила в своеобразный музей, воссоздав в нем обстановку эпохи Империи. Здесь изгнанников посещали родственники, друзья и заезжие знаменитости, среди которых – Александр Дюма-отец, Жорж Саид, Шатобриан и др. В замке Арененберг Луи-Наполеону доведется провести долгие семнадцать лет.
В июне 1819 г. Гортензия подберет ему воспитателя – некоего Филиппа Леба, сына бывшего члена Конвента, близкого друга Робеспьера. Сам Леба в молодости был моряком, затем офицером наполеоновской армии, отличившимся в ряде кампаний. С падением империи он стал школьным учителем. Ему было что рассказать своему воспитаннику о революции и ее героях, о войнах времен Республики и Империи. В сознании впечатлительного подростка рассказы Леба соединялись с тем, что он постоянно слышал от матери и ее гостей об исторических деяниях его великого дяди. В результате в нем сформировалось твердое убеждение в существовании некой сакральной связи между народом Франции, Революцией и вышедшим из нее Наполеоном Бонапартом. Убежденность в народном характере режима, установленного Наполеоном, племянник императора французов пронесет через всю свою жизнь.
