И, как предвидел митрополит, вести о том стали известны в войске Ахмата. Многие татарские мурзы и беи требовали возвращения в родные края, чтобы защитить жен и детей от русских мечей. Началась буза. Хану и его нукерам едва удалось предотвратить мятеж и удержать воинов на берегу Угры. Но моральный дух воинства был подорван, и большого желания нападать на русские полки уже не было. К тому же обещанная Казимиром помощь так и не подходила. Хан едва ли не каждый день посылал гонцов к польскому королю, но их перехватывали не только конные разъезды московского князя, но и в тех землях, которые были под Литвой. Редким посыльным удавалось достичь ставки короля, а еще более редким — возвратиться в стан хана. К тому же приносимые ими вести не утешали.
А тут и осень подошла. И не только с ягодами и грибами, с золотом и багрянцем лесов, но и с хмарью небес и свинцовой тяжестью вод в реках. Вскоре — и того хуже: зачастили долгие русские дожди. А там и сиверко задул, стал пробирать все живое до самых костей.
Чтобы не терять в пустом противостоянии людей, Иоанн Васильевич двадцать шестого октября, когда мороз стал сковывать воды рек, а поземка — перебивать пути-дороги, приказал сыну, братьям и всем воеводам отвести русские полки к Кременцу. А оттуда — к Боровскому, где, встав на выгодных позициях, готовиться дать бой татарам. Но неподготовленное, поспешное отступление едва не превратилось в паническое бегство. Воеводы едва сумели навести порядок — так было расстроено войско. Но, слава Богу, обошлось. Пушкари и пищальники оружия не бросили, сохранили и огненное зелье с боеприпасом. Не побросали копий пешцы, не оставили коней и оружие всадники. И теперь все, став воинским станом у Боровского, с тревогой ожидали приближение врага. Даже поговорка случилась: «Хоть Кременец — делу венец, но Боровское — тоже не воровское».
Но огромное войско Ахмата русских не преследовало. Оно продолжало стоять на Угре, не понимая действий московского государя и опасаясь его хитрой уловки. Болезни и бескормица стали подкашивать силы татарские. Вновь усилился ропот. И одиннадцатого ноября хан распорядился возвращаться восвояси. Но не прямой дорогой, а через земли литовского князя. «Хоть тут попользуемся…» — мстительно решил он, проклиная Казимира, подбившего его на столь бесславный поход. Однако нетерпеливые мурзы, стремящиеся поскорее возвратиться в родные улусы и аулы, подвергшиеся нападению нижегородцев, со своими воинами повернули прямо к берегам Волги. И только третья часть войска пошла с Ахматом к Донцу на зимнее кочевье. По пути Ахмат и его воины в Брянской земле разграбили двенадцать русских градов, находившихся под Литвой. Там не ждали такого коварства от «союзника», врат не закрывали, в осаду не садились, потому и пострадали крепко. Когда же татары Ахмата, обогащенные грабежом, подошли к Рыльску и тоже попытались поживиться, то встретили достойный отпор. Княжеский замок на горе Ивана Рыльского и град, закрыв перед напрошенными гостями врата, ощетинились пушками и пищалями, метательными нарядами сотнями луков и копий.
