Через шесть недель на остров Эльба приехала мать императора, а несколькими днями спустя принцесса Полина. Она встретилась с императором во Фрежюсе и хотела отплыть вместе с ним, но была так больна, что врач ей это категорически запретил. Английский капитан пообещал, что вернется в назначенный день и заберет принцессу, но день прошел, фрегат не появился, и принцесса воспользовалась случайным неаполитанским судном. В этот первый приезд она была на острове только два дня. Оттуда она отправилась в Неаполь, но 1 ноября бриг «Непостоянный» вновь привез ее, чтобы она больше не покидала императора.
Понятно, что, переходя от такой бурной деятельности к полному отдыху, Наполеон вынужден был искать для себя занятия. Все его часы были заполнены. Он вставал на рассвете, закрывался в библиотеке для работы над своими военными мемуарами до восьми часов утра. Потом он проверял ведение хозяйства, беседовал с рабочими (почти все они были его старыми гвардейцами). К одиннадцати часам он очень плотно завтракал. В сильную жару он после завтрака час или два спал. Часам к трем он обычно выходил, садился на лошадь или в коляску в сопровождении маршала Бертрана или генерала Друо. В этих прогулках они всегда сопровождали его. По дороге он внимательно выслушивал их, не оставляя без ответа ни одного предложения. К шести часам он возвращался, обедал со своей сестрой, жившей на первом этаже его городского дворца. Бывало, что к столу приглашали интенданта острова мсье де Бальбиани, или командира Вантани, или мэра Порто-Феррайо, или же полковника Национальной гвардии, а иногда и мэров Порто-Лонгоне и Рио. По вечерам спускались в апартаменты принцессы Полины.
Мать императора жила в отдельном доме, его уступил ей камергер Вантини.
Эльба в это время становится местом паломничества. Вскоре наплыв иностранцев стал настолько велик, что появилась необходимость принять меры, чтобы избежать беспорядков, возможных из-за нашествия такого количества неизвестных, среди которых было немало авантюристов, приезжающих на поиски фортуны. Продуктов стало вскоре явно не хватать, и их пришлось привозить с континента. Коммерция Порто-Феррайо процветала, и это процветание улучшило общую обстановку. Так, даже в ссылке присутствие Наполеона стало источником благоденствия для страны, которой он принадлежал. Его влияние распространилось вплоть до низших классов общества. Новая атмосфера окружила остров.
Среди иностранцев большую часть составляли англичане. Они, казалось, придавали огромное значение тому, что видят и слышат его. Со своей стороны Наполеон принимал их с благодушием. Лорд Бентинг, лорд Дуглас и некоторые другие сеньоры высшей аристократии увезли в Англию драгоценные воспоминания о том, как они были приняты.
