Братии оказалось не по разуму понять божественности того, что происходило, и они взялись попреками обличать Иринарха в поведении его вызывающем. Решив, что он возгордился, игумен вздумал смирить пономаря, и тому пришлось благовестить на открытой всем ветрам колокольне, а потом еще молиться, стоя перед окном игуменовой кельи, чтобы тому было видно, как смиряется непокорный инок.
Это не возымело действия, Иринарх продолжать ходить босым и носить рубище, позоря обитель, по мнению игумена. Тогда посажен им был ослушник под замок и три дня пребывал взаперти без еды и питья, но и это не заставило Иринарха обуться и переодеть свою ветхую рясу, тем самым отступившись от пути, который он выбрал. Тогда игумен отправил его опять в пекарню, где прежде исполнял послужническую службу Иринарх. А инок трудился исправно и все так же ходил по морозу без обуви, не ощущая холода.
Между тем купцом, приехавшим в обитель на богомолье, было поведано: в Ростове собираются битьем батогами принудить к уплате долга купца Ага фоника. Едва это услышав, Иринарх сразу же отправился на помощь несчастному другу, хотя не было ему ведомо, в чем его помощь может заключаться. Он отдалился от обители на семь верст, когда опять стал чувствовать холод. Не посчитав это знамением и, следственно, не поворотив назад, Иринарх упрямо продолжал путь и в конце концов отморозил себе ноги. Подобран он был монахами, которые в лес ездили дрова рубить; они-то и привезли его обратно в обитель, где Иринарху оказывали посильную помощь. В течение трех лет он испытывал постоянные мучения из-за незаживающих ран на ногах. Однако, даже будучи больным, продолжал трудиться и молиться. Спустя три года раны зарубцевались, и Иринарх снова ощутил в ногах необычную теплоту. И опять стал ходить без обуви постоянно.
Раздосадованный окончателно таким упрямством, игумен отослал своенравного инока на работы вне обители. Иринархом это было воспринято как отлучение от храма Божия, его взяла за сердце печаль, и он пошел в основанную преподобным Авраамием еще до крещения Руси Богоявленскую обитель на озере Неро. Там Иринарха ждал радостный прием, архимандритом было примечено, как усердно он молится, и пришедшего из Борисоглебского монастыря инока назначили келарем.
Об отказе от келарства для Иринарха не могло быть и речи, и он принялся порученную службу исполнять так же усердно, как и любые другие работы, однако в скором времени скорбью было сокрушено сердце его из-за того, что братия и служители обители «без меры и без воздержания берут всякие потребы, истощая монастырское достояние». Образумить их он не мог, как и с жалобой обратиться к настоятелю, не слушался язык собственный, оттого и испытывал томление, невольно чужие грехи на себя беря. Только и оставалось ему, что молиться. Обращаясь к покровителю обители, он повторял: «Преподобный Авраамие. Не я твоему монастырю разоритель».
