Вскоре к Наполеону присоединились Жозеф, Люсьен и Жером. 25 июня четверо братьев приняли решение искать убежища в Соединенных Штатах, несмотря на то что большинство американцев были настроены чрезвычайно враждебно. В 1816 году бывший президент США Томас Джефферсон скажет о Наполеоне: «Я считал его самым дурным представителем рода человеческого, навлекшим на людей больше страданий и несчастий, чем кто-либо из живших до него». Проблема заключалась в том, как им пересечь Атлантику, поскольку Фуше отказался предоставить два фрегата, как они просили. Вскоре Люсьен отправился в Лондон просить корабль у англичан, хотя еще перед тем как Наполеон покинул Елисейский дворец. Гортензия предостерегла его: «Если ты предпочтешь бежать в Америку, то поторопись в порт, прежде чем о том пронюхают англичане. Они наверняка заточат тебя в лондонском Тауэре». Жозеф придерживался того же мнения, что доверять англичанам — чистейшей воды безумие. Тем временем Веллингтон и Блюхер двигались к Парижу. Франция располагала шестидесятитысячной армией, и такою же по численности национальной гвардией, и Наполеон, как рядовой генерал, предложил организовать оборону столицы под своим командованием. Однако Фуше настаивал, чтобы он немедленно покинул Мальмезон. До его отъезда 29 июня многие пришли попрощаться с ним, в том числе «мадам мать», дядя Феш и Мария Валевская. Если верить Тальма, Летиция проронила ровно две слезы, и ее прощание свелось к одной фразе: «Прощай, мой сын!» Гортензия зашила ему за подкладку бриллиантовое колье. Наполеон и Жозеф поодиночке отбыли в порт Рошфор.
Достигнув Рошфора, Наполеон обосновался в небольшой крепости на прибрежном островке Экс. Тем временем Жозеф зафрахтовал на имя месье Бушара американский бриг «Коммерс» водоизмещением 200 тонн, направлявшийся в Чарлстон, Южная Каролина, с грузом коньяка. Здесь он совершил единственный неоспоримо благородный жест за всю свою жизнь. За несколько дней до этого власти арестовали его, по ошибке приняв за императора, но затем отпустили восвояси. И хотя Жозеф был выше ростом и не таким полным, он понял, что может выдавать себя за брата, поэтому предложил остаться на Эксе, изображая из себя Наполеона, после того как последний отплывет на «Коммерс» в Америку под именем Бушара. Это предложение было отвергнуто, как недостойное для чести бывшего императора Франции.
15 июля Наполеон взошел на борт судна Его величества «Беллерофон», пребывая в заблуждении, что принц-регент предложит ему убежище в Англии.
