Благополучию Ростовской земли пришел конец уже в 80-е годы XIII века. После кончины Бориса (1277) и Глеба (1278) их сыновья не смогли сохранить мудрого единодушия отцов. В Ростовской земле начинаются усобицы. Яблоком раздора стал выморочный угличский удел. Растратив силы на внутренние распри, ростовские князья не сумели удержать Ярославль, который в начале XIV века окончательно перешел под власть князей из смоленского дома.
Следующее поколение ростовских князей, правившее в первой четверти XIV века, оказалось не в состоянии обезопасить город и волости от татарских набегов. Постоянные просрочки и недоимки при сборе ордынской дани в ростовских землях вызывали гнев хана, влекли за собой карательные санкции.
Тяжесть положения усугублялась тем, что ростовские князья, а вслед за ними и бояре не могли остаться в стороне от ожесточенной борьбы за великое княжение Владимирское между московскими и тверскими князьями. Вплоть до 1327 года борьба эта шла с переменным успехом. И каждый раз победитель спешил свести счеты со своими недругами в Ростове. Город жил в постоянном тревожном ожидании очередного нападения княжеского войска или ордынского «лютого посла».
Бессилие правителей побуждало народ к возмущению. В 1320 году в городе появились очередные «злые татары». Возмущенные их бесчинствами ростовчане выгнали чужеземцев из города. Ответом на эту дерзость стала направленная в ростовские и ярославские земли карательная «Ахмылова рать». Лишь случайность спасла город от страшного погрома.
Невзгоды ростовской жизни не миновали и семейство боярина Кирилла. Сообщая о его разорении, автор Жития Сергия замечает: «Како же и что ради обнища, да скажем и се: яко частыми хоженми еже с князем в Орду, частыми ратми татарскыми еже на Русь, чястыми послы татарскыми, чястыми тяжкыми данми и выходы еже в Орду, частыми глады хлебными» (9, 288).
Одним из самых сильных впечатлений детства и отрочества Варфоломея, несомненно, был всеобщий страх перед «злыми татарами». Это чувство было знакомо в ту пору едва ли не каждому русскому человеку. Именно страх был основой всей системы чужеземного владычества над Русью. Неизвестный книжник конца XIII века, описывая зверства татарского баскака в Липецком и Воргольском княжествах, не удержался от восклицания: «И бяше видети дело стыдко велми страшно, и хлеб в уста не идет от страха» (20, 80). Те же чувства испытывали и ростовцы. Случалось, что, заслышав о приближении татарской «рати», горожане в панике разбегались кто куда, бросая на произвол судьбы дома, имущество, скот. Так было, например, в 1322 году, когда к Ростову направилась «рать» ордынского «посла» Ахмыла. «И прииде Ахмыл на Рускую землю, и пожже град Ярославль и поиде к Ростову с всею силою своею, и устрашися его вся земля, и бежаша князи ростовьстии, и владыка побеже Прохор», – рассказывает старинное ростовское сказание
