Впереди Великой армии двигался конный авангард в 15 тысяч сабель из корпуса Мюрата. Узнав об этом, Неверовский вышел 2 августа из городка, прикрылся речкой, поставил на левом фланге батарею, драгун и казаков, а сам с пехотой встал за мостом и приготовился стрелять. Мюрат обрушился именно на левый его фланг, опрокинул драгун, рассеял казаков и захватил орудия, которые артиллеристы все же успели заклепать. Тогда Неверовский приказал построиться в каре и повел дивизию по дороге на Смоленск, шедшей через лес. Французские кавалеристы пытались наскакивать на каре со всех сторон, но и деревья им мешали, и солдаты из каре дружно стреляли — в общем, дивизии удалось пройти 10 верст, теряя понемногу бойцов, но вдруг она оказалась перед чистым полем шириной в одну версту. На их счастье, впереди оказался заслон с двумя пушками (который предусмотрительный Неверовский выслал загодя вперед) и эти пушки стали бойко стрелять! Французы, видимо, решили, что это пришла на помощь свежая часть русских и повернули коней назад. Армия Багратиона отступала впереди всех. Узнав о бое Неверовского, Багратион спешно отправил вперед корпус Раевского с наказом занять оборонительные позиции в Смоленске и держать там Наполеона до подхода основных сил. Корпус Раевского (около 10 тыс. чел.) пришел в город к вечеру 2-го, объединился с остатками дивизии Неверовского (5 тыс. чел) и городским ополчением (6–8 тыс) и стал обустраивать позиции в южных предместьях и в крепости. Пушек у него было более 100 и это стало большим плюсом. 3-го к городу подошли корпуса Даву, Нея и Мюрата, а утром 4-го началась их атака на предместья. Защитники города держались стойко — впрочем, атаки французов пылом не отличались — вероятно, Наполеон надеялся заманить в город всю русскую армию и тут ее и прихлопнуть. В ночь на 5-е августа к городу подошел корпус Дохтурова из армии Барклая, который сменил уставших бойцов Раевского и Неверовского и встретил утром новые атаки французов. Наполеон к тому времени осознал, что пока он топчется у стен Смоленска, русская армия проходит мимо города к основной переправе через Днепр и может уйти из-под его удара. Поэтому французские атаки 5-го августа были очень яростными и сопровождались мощной артиллерийской поддержкой.
Город не выдержал бомбардировки и запылал. Зато выдержали его защитники, отбившие все атаки с двойным уроном для нападавших. Лишь ночью они переправились по мосту на северный берег Днепра и сожгли его за собой. Жители города ушли почти все вместе с армией (осталась тысяча). Гусары О…кого полка шли по традиции в арьегарде армии Багратиона и потому оказались возле Смоленска только 5-го августа, в разгар битвы. Ржевский прорвался к командиру полка Новосельцеву и вскричал:
