И тогда-то, как говорят, смоленский отшельник принялся на глазах у всех вести себя страннее некуда: он палкой рылся в земле с безумными выкриками про какую-то покражу, иные ненормальности вытворял. По всей видимости, стремившийся жить в одиночестве, не общаясь ни с кем, Иван Яковлевич повел себя так в попытке изобразить сумасшествие с тем, чтобы вызвать у них отторжение, нагнать страху на опостылевших просителей, которым требовались предсказания бытового уровня, а вовсе не духовное наставление. Однако притворное безумство не уменьшило число «паломников», и в конце концов Корейша в ночное время оставил свое пристанище и удалился в густой лес и там соорудил для себя шалаш. Круглый год на нем из одежды была только белая рубаха из холста, он спал на земле, даже в сильный мороз был босой. Что до пропитания, Иван Яковлевич обходился преимущественно хлебом.
Он со всем тщанием скрывал место, где устроил себе жилище, даже на глаза лесорубам старался не попадаться. В селах же и деревнях появлялся лишь в тех случаях, когда опасная болезнь угрожала жизни кого-то из местных жителей. Он приходил самовольно, никто ему ничего не сообщал. Безошибочно входил в дом, в котором обосновалась болезнь, глядел на страждущего и произносил свое заключение: или больной оправится, или пора звать священника для соборования. Существующие предания говорят, что предсказания его всегда сбывались. Разумеется, через некоторое время при появлении блаженного прозорливца деревенскими жителями овладевали смешанные чувства: они испытывали любопытство, глубокое почтение и ужас одновременно.
Между тем пришла зима 1811 года. Встречая его иногда, селяне в тулупах говорили Ивану Яковлевичу, что для морозной поры он неподходяще, слишком легко одет. На это отшельник отвечал туманно, что, мол, подождите годик, будет и жарко, и мерзнуть станете.
Спустя год России пришлось пережить «нашествие двунадесяти языков», огонь и стужу. В ходе войны 1812 года армия Наполеона заняла родной город Ивана Яковлевича. В период его оккупации Корейша бродил по Смоленску, с молитвой прося подаяние, которым делился с такими, как сам, сирыми соотечественниками, призывал горожан не терять веры в окончательную победу русских над французами, оказывал помощь ополченцам, которые скрывались в лесах, и русским солдатам, которые отстали от своих частей. Точно так же, являя пример христианского милосердия, спустя некоторое время он помогал солдатам Наполеона, отходящим назад к границам России под натиском армии Кутузова. И хотя говорили, что Корейша двигался за отступающими французами якобы бесцельно, в действительности он облегчал страдания раненых, делая им перевязки, поднимал с земли замерзавших, приводил их в чувство с помощью водки. Как-то раз разъезд казаков, увидев это, задержал его и, подозревая в нем лазутчика, доставил в штаб. Дознание было коротким: смоленские жители, как говорится, прояснили ситуацию, и блаженного Ивана Яковлевича отпустили. В скором времени он возвратился в свой лесной шалаш.
