До далекого Нижнего с большим опозданием доходили новости из Владимира и Москвы, и новости те были тревожнее одна другой. Не верилось, что Дмитрий московский взял волю и власть над ростовским князем Константином и тот смирился. А вскоре в Нижний под защиту князей суздальских пришли изгнанные из своих уделов князья Иван Федорович стародубский и Дмитрий галицкий. Они просили вступиться за них и вернуть отобранные земли, но Дмитрий Константинович отказал. Он понимал, что его дружине, даже если поможет воинами брат Андрей, не справиться с московскими боярами и все больше вмешивающимся в дела княжества Владимирского Дмитрием Ивановичем.
Не долгим было счастье князя Андрея и княгини Анастасии. Ближе к лету Дмитрий Константинович с семейством возвратился в Суздаль. Княжеский терем в Нижнем Новгороде осиротел. Тихо и пусто стало в его горенках, не слышно детского смеха в трапезной, на дворе… Княгиня Анастасия все свое время проводила в молитве в стоявшем рядом с княжеским теремом соборе Архангела Михаила. В нем было уютно, тихо, а фрески, написанные Феофаном Греком, вносили в мечущуюся душу успокоение. Князь Андрей все чаще стал посещать Вознесенский Печерский монастырь, ища утешения в молитвах и беседах с игуменом преподобным Дионисием.
Отъезд из Нижнего семьи Дмитрия Константиновича княжеская чета восприняла как беду. А беда не приходит одна. По осени с Поволжья от Бедежа с купцами в Нижний пришла чума. Моровая язва быстро расползлась по Северной Руси. Пожалуй, больше всех от нее пострадали Владимир и Нижний Новгород. Летописец за 1364 годом записал: «Бысть мор велик в Новеграде в Нижнем и на всем уезде его, и на Саре и на Кише, люди харкали кровью, а иные железою болезноваху день един или два, или три днии, и мало нецыи пребывшее, и тихо умираху». В день умирало до сотни человек, и отпевать их было некому. В страхе люди устремились в монастыри: вечером их постригали, а утром находили в кельях уже остывшими. И только мор пошел на убыль, как новая беда обрушилась на Русь. Засуха! Августовское солнце выжгло уже созревающий урожай, трава на пастбищах пожухла, горели леса, торфяники на болотах, от задымленности нечем было дышать. Начался падеж скота. Неминуемо надвигалась голодная зима.
Князь Андрей воспринял это как наказание Божье. Он часами простаивал перед иконой Святого Спаса, но не находил утешения. Все чаще он заводил речь об уходе в монастырь, и всякий раз Анастасия его отговаривала:
