Не ожидавший, что придется отвечать на прямой вопрос про деньги, иеродиакон Андрей сознался в краже и принес покаяние братии, и настоятель в качестве наказания наложил на него епитимию. После этого случая монастырское начальство и монахи стали уважительно и благожелательно относиться к Ивану Яковлевичу. Братия даже убеждала его остаться в пустыни, когда навестившая Корейшу родная сестра Параскева упросила его отправиться домой. Однако Иван Яковлевич оставил Нилову пустынь и вернулся в Смоленск.
Там, поскольку ему не на что было жить, Корейша был вынужден снова начать преподавать в школе, но эта работа его обременяла несказанно, особенно непоседливость детей. И он прекратил учительствовать, теперь уже навечно, и поселился в оставленной без употребления бане на огородах. Это обеспечило ему пропитание и уединение, и привыкшего к спартанскому существованию Ивана Яковлевича это полностью удовлетворяло. Помимо того, что горячо молился, он еще пел псалмы, чаще прочего — стихотворное переложение Ломоносовым четырнадцатого псалма Давида: «Господи, кто обитает //В светлом доме выше звезд, // Кто с Тобою населяет // Верьх священных горних мест?..» — а также духовные песни, которые сам же и сочинял.
Можно было бы предположить, что Корейша наконец обрел желанный покой, к чему он давно стремился. Но это было не так. Добровольное отшельничество его возбудило интерес к нему среди жителей Смоленска, слухи про его необычный поступок множились с каждым днем, и вскоре, признав в нем юродивого, к Ивану Яковлевичу потек народ: одни приходили за напутствием духовным, другие хотели узнать, что им сулит будущее, а третьими двигало праздное любопытство. В первое время «паломничества» он с великим терпением выслушивал всех приходивших, пытался их наставлять, что-то советовать. Но вскоре его взяла досада: людей интересовали такие вещи, как то: куда подевалось кольцо, кто уворовал свинью, куда забрела корова, кого из двух сватавшихся к дочке на выданье молодых людей предпочесть и тому подобное — одним словом, земное и суетное, а Корейшу заботило духовное. В конец отчаявшись, он сделал на низкой притолоке снаружи надпись про то, что входящих больше не станет принимать к себе, а тех лишь будет пускать, кто к нему на четвереньках удосужится вползать. Надежда его на то, что это людей остановит, оказалась напрасной: те, кто хотел узнать у явившегося недавно провидца, что им уготовила судьба, или спросить совета в каком-либо деле, покорно опускались на четвереньки и вползали в баню, и численность таких людей не уменьшалась нисколько.
