Если бы воеводы организовали энергичное преследование, они могли бы быстро занять Рыльск и Путивль и захватить в плен «вора». Но они задержались под Рыльском и дали самозванцу время оправиться от поражения. В Рыльске засели изменивший Борису князь Яков Роща Долгорукий с четырьмя сотнями стрельцов и казаков. Мстиславский не смог полностью прервать сношения гарнизона с Путивлем. Присланный самозванцем отряд проскользнул между полками и проник в крепость.
Две недели воеводы бомбардировали Рыльск, а затем поступили так же, как Лжедмитрий I после неудачной осады Новгорода-Северского. Они отступили к Севску и стали лагерем посреди Комарицкой волости. Там они надеялись пополнить запасы продовольствия и переждать последние морозы в рубленых избах у комаричей. Однако волость была опустошена самозванцем. Оказавшись без припасов, Мстиславский созвал военный совет и, к общему удовольствию, объявил о роспуске дворян по домам на отдых.
У некоторых современников явилось подозрение, что решение о роспуске полков подсказано было тайной изменой. Но едва ли такое подозрение имело основу. Мстиславскому пришлось действовать в среде враждебного ему населения. Несмотря на поражение Лжедмитрия, восстание ширилось.
Сторонники «царька» прочно удерживали в своих руках крепость Кромы в тылу у Мстиславского. Главная коммуникация царской армии была перерезана, что затрудняло подвоз продовольствия из Москвы. Воевода Федор Шереметев много недель осаждал Кромы без всякого успеха. Знатные воеводы не обладали особыми военными талантами, но им нельзя было отказать в здравом смысле. Они знали, сколь мало дворянское ополчение пригодно к зимней кампании, и пытались предотвратить его распад.
Царю Борису казалась чудовищной сама мысль о роспуске армии. Он учинил Мстиславскому разнос и категорически запретил распускать полки. Сколько бы ни «кручинился» царь на нерасторопных воевод за отступление от Рыльска и Путивля, даже он не считал возможным предпринять немедленное наступление. Прошли считаные дни, и Мстиславский получил приказ отступить на северо-восток, к Кромам. Туда предполагалось доставить артиллерию из Москвы, предназначавшуюся для осады Путивля.
Приказ о выступлении вызвал возмущение в полках. Вместо долгожданного отдыха ратникам предстояло пережить весну в полевых условиях. По пути к Кромам многие дворяне самовольно разъехались по домам.
4 марта 1605 года Мстиславский соединился с Шереметевым в окрестностях Кром. Крепость имела двойную линию укреплений – внутренний острог и внешний «город». Стены и башни были выстроены из прочного дуба лет за десять до осады. Небольшой город располагался на высоком косогоре подле реки. Кругом простирались болота. Наверх вела единственная узкая тропа. Удачное местоположение делало крепость неуязвимой.
