На преподавательском поприще он подвизался всего несколько лет, видимо, не находя никакого интереса ни в общении с детьми, ни собственно в их просветительстве. Духовная деятельность занимала его все более, и 7 мая 1806 года, движимый одному ему ведомыми соображениями, Иван Яковлевич замолчал на середине урока, захлопнул книгу и покинул классное помещение. Пораженные дети бросились к окну: их учитель, миновав двор школы, вышел за ограду и скрылся из виду.
Так Иван Яковлевич, не сказав никому прощального слова, не взяв с собой никаких вещей, в чем был и без денег, начал свой паломнический путь по святым местам, который сначала привел его в монастырь на Соловках. Строгость и уединенность жизни монахов в окружении первозданной природы пришлась ему по душе настолько, что Иван Яковлевич принял решение задержаться и пожить иноком. В Соловецкой обители он оставался до июня 1807 года, а потом отправился в Киево-Печерскую лавру. Побывав там и помолившись, он двинулся в обратный путь домой, но возле Могилева его настигла тяжелая болезнь, и в течение полутора месяцев организм Корейши боролся с горячкой, балансируя от жизни к смерти. Когда же наступило облегчение, Иван Яковлевич дал обет пойти в Тверскую губернию на богомолье в Нило-Столбенскую пустынь. И как только оправился от болезни, без промедления туда и направился.
В пустыни, добравшись до нее 16 сентября 1808 года, он снова заболел, Ивану Яковлевичу было плохо так, что его не держали ноги, и он слезно просил богомольцев перенести его к мощам преподобного Нила. Те уважили его просьбу, и подле святых мощей Корейша чудесным образом исцелился. Хозяйке дома, которая пустила его на постой, он после этого сказал, что ныне его несли на руках и усадили в храме, а как минует пятьдесят три года, то понесут снова и уже в храме уложат. Как полагают биографы, это было первое пророческое предсказание Ивана Яковлевича Корейши относительно собственной кончины по прошествии 53 лет.
Испытывая благодарность за исцеление, Иван Яковлевич решил остаться и провести в обители три года, пожить там, соблюдая строжайший устав монастыря и трудясь подобно монахам.
После того, как поселился в Ниловой пустыни, Корейша стал очевидцем препирательства между членами монашеской общины, оно было связано с распределением пожертвований, получаемых монастырем. Игумен с братией ставили в вину казначею, который ведал распределением, присвоение общинных денег. В свою очередь казначей клятвенно утверждал, что он не виновен. Однако его словам не верили и грозили строгим наказанием. В это время, приняв сторону казначея, Иван Яковлевич неожиданно произнес: «Не на лица зряще судите, а праведен суд судите. И Андрея позовите!»
