31 октября (12 ноября) началось отступление французских войск из Смоленска. Солдаты страдали от жестоких морозов, от голода, от нападений партизан и казаков. Все это заставляло Наполеона ускорить марш. Он стремился оторваться от русской армии, чтобы беспрепятственно выйти к Березине. Один французский генерал после войны вспоминал:
«Армия могла питаться лишь тем, что добывали мародёры, организованные в целые отряды; казаки и крестьяне ежедневно убивали много наших людей, которые отваживались отправиться на поиски».
Русские войска под общим командованием М. И. Кутузова пытались отрезать ему путь своим наступлением с южного направления. Части из усиленного авангарда генерала Михаила Милорадовича и отряда Дмитрия Голицына нанесли ряд сильных ударов по растянувшимся французским войскам. В упорных боях 4 - 6 (12 - 18) ноября потерпели поражение Молодая гвардия и 1-й корпус Луи Даву, а 3-й корпус Мишеля Нея (арьергард) был разгромлен. По русским данным, французы потеряли 6 тысяч человек убитыми и ранеными, 20 тысяч пленными и 116 орудий, русские — всего лишь 2 тысячи убитыми. Тем не менее император со Старой гвардией, с корпусами Э. Богарнэ, Л. Даву и Ж. Жюно прорвался сквозь заслоны Тормасова и ушел к Дубровно. А 7 (19) ноября авангард Наполеона, перейдя через Днепр, вошел в Оршу.
Корпус маршала Нея задержался в Смоленске. Он выступил оттуда только в два часа ночи 5 (17 ноября), взорвав по приказу Наполеона 8 башен городской стены, Королевские ворота и уцелевшие крупные здания. Покидая город, Ней бросил 157 артиллерийских орудий и большую часть обоза, оставил в полевых госпиталях свыше 4 тысяч раненых. В строю у него было 8,5 тысяч человек при 12 орудиях, позади корпуса брели толпы отставших солдат.
