— Государь, — ответил ему епископ, — на тебя подали бы еще больше жалоб, если бы было кому жаловаться.
Потом, указав на свою панагию с изображением на ней распятого Христа, он промолвил: "Он ли не был свят, а и Его обвинили и распяли".
После шестилетнего пребывания в Пензе, Амвросий подал прошение в св. синод об увольнении на покой, выставляя на вид желание свое подготовить новое дополненное издание "Истории российской Иерархии". На самом же деле он мечтал лишь о строгом монашеском уединении, так как, отправляясь из Пензы, отослал в св. синод все документы, забранные оттуда для дополнения своего труда, и исправленный печатный экземпляр истории.
Получив увольнение, он избрал для жительства Кирилло-Белозерский монастырь, в котором получил первое образование… Бедным странником покинул он Пензу. Раздав все свое немногочисленное имущество и все принадлежности архиерейского сана, Амвросий оставил себе небольшое количество книг и бумаг.
На прощанье он сказал: "Теперь здесь моего ничего нет!" и уехал в простой монашеской одежде и шапке, в нагольном тулупе и на простых дровнях.
В Кирилло-Белозерском монастыре Амвросий весь отдался безмолвию, уединению и молитве.
Ему для жилья было приготовлено большое помещение, но он выбрал себе одну, самую отдаленную комнату. Никто, даже келейник, не мог входить в нее. Никого почти он не принимал, даже монастырских властей и родных, которым велел сказать, что Амвросий мертв. Из келии своей он выходил только в церковь, но редко.
Иногда, когда в церкви шла служба и народ был внутри, он подходил к одному из церковных окон, смотрел несколько минут во внутрь церкви и уходил к себе.
Иногда, по ночам, выходил он на церковный двор, молился на церковной паперти, воздев руки к небу, или в келлии преп. Кирилла молился до утрени. Когда приехали к нему родители, он позволил им пожить в зале его покоев, сам ставил для них самовар, но они почти не видали его самого и не входили в его келлию.
Письменно затворник уже ни с кем не сообщался. Подавали ему простую монастырскую пищу, но он не брал ее целыми днями, изредка пил вместо чая ромашку. Чрез келейника он раздавал всю свою пенсию (2,000 руб. в год), употребляя ее на монастырь и на бедных. Он содержал двух сирот в училище и внес большой денежный вклад за содержание родителей в пустыни Новгородской губернии, когда те пожелали постричься.
Келейник у него был неисправного поведения: заперев епископа в архиерейских покоях, он исчезал иногда на несколько дней, оставляя его без пищи и в нетопленых комнатах. Тогда Амвросий делал все сам, топил печи, мыл полы и никому ни словом не пожаловался на келейника. Только с одной семьей сосланного туда полковника Дубовицкого епископ видался, принимал даже его малолетних детей, которые обращались с ним, как со своим человеком. Когда Дубовицкий получил разрешение вернуться, Амвросий присутствовал при обедни и напутственном молебне и самым теплым образом простился с отъезжавшими.
