Отступление началось 19 октября. 80 тысяч войск выступили маршем из Москвы в сопровождении 50 тысяч мирных граждан, в числе которых были женщины и дети. 24 октября Евгений вместе со своей итальянской королевской гвардией при поддержке французских частей встретился с Кутузовым у Малоярославца, в 70 милях от Москвы. Этот маленький городок семь раз переходил из рук в руки, прежде чем окончательно удалось изгнать оттуда русских. Тем не менее Кутузов вынудил захватчиков продол жить отступление по той же дороге, по которой они и пришли, по совершенно опустошенной земле, обрекая тем самым армию Наполеона на катастрофу. 1 ноября был первый сильный снегопад. Многие солдаты не имели даже шинелей, т. к. побросали их за ненадобностью во время летней изнуряющей жары еще в начале вторжения. Двумя днями позже Евгений подвергался нападению у Вязьмы, но после семи часов ожесточенного боя ему удалось отбросить неприятеля. Описывая это сражение, Сегюр замечает, что вице-король, «безусловно, не был из числа тех генералов, что получили свои чины исключительно благодаря фаворитизму. Те всегда оказывались неспособны предвидеть опасность, их постоянно захватывали врасплох по причине недостатка опыта. Он (Евгений) сразу распознал угрозу и точно знал, что ему делать». 6 ноября начался ужасный снегопад. Наступила русская зима.
Ее последствия для лошадей оказались такой же катастрофой, как и для людей. Снег закрыл собой скудные остатки растительности, и лошадям было нечего есть. Когда французские солдаты 9 ноября снова оказались у стен Смоленска, от кавалерии оставалось всего 4 с половиной тысячи верховых лошадей. Это означало не только фактический конец кавалерии, не хватало лошадей, чтобы тянуть подводы. К холоду прибавился повальный голод. Даже самые высшие офицеры были вынуждены идти пешком, включая самого императора, Мюрата и Евгения Богарне.
Когда Великая армия достигла Смоленска, оказалось, что продовольственное снабжение отсутствует. Провианта не было. Отступление сквозь снега продолжалось дальше. На подступах к Смоленску итальянская армия была полностью уничтожена ее преследователями на переправе через реку Вопь. Евгению удалось спасти лишь горстку людей. Свидетель тех событий Коленкур вспоминает: «Все, — чего можно было добиться мужеством, следуя примеру бравого и преданного командира, было сделано, но напрасно». 11 ноября вице-король писал в Италию супруге, что не брился вот уже десять дней и отрастил себе бороду на манер монаха-капуцина. Тем не менее он нашел в себе силы возглавить остатки вверенных ему войск, чтобы броситься на подмогу маршалу Нею, который оказался отрезанным.
