Все так замечательно складывалось в его жизни, и все так его любили, а между тем уже в раннем детстве он узнал страх, потому что увидел страшное. Такое страшное, что жалость к человеку укоренилась в нем навсегда. Была Пасха 1877 года. Тогда началась Русско-турецкая война. Было солнечно и звонили колокола, маленький Иван гулял с няней и заметил, что у сарая столпились люди. Няня взяла его на руки, и он увидел чужих, они были безъязыкими, под лохмотьями старика он разглядел незатянувшуюся рану, сквозь которую проступала кость, у женщины вместо глаз были красные ямы. Тогда он узнал, что есть православные мученики, что царь начал войну с турками, чтобы турки не мучили христиан. Эти несчастные долго снились ему, и ужас вновь и вновь сковывал его сердечко. Второй раз панический страх овладел им в 1881 году: он услышал, что убили Александра II, что без царя всем грозит беда, что нигилисты всех будут резать.
Обучение наукам началось в частном пансионе сестер-француженок Верзес, располагавшемся недалеко от дома, на Полянском рынке. В одиннадцать лет Шмелев сказал «прощай» праздности вольной, его отдали в Первую гимназию, что у храма Христа Спасителя. Попасть туда оказалось делом нелегким, на шестьдесят вакантных мест было четыреста кандидатов. Приемный диктант по русскому языку он написал без ошибок, но на экзамене по арифметике сбивался и робел. Хлопотать за него принялась крестная, Елизавета Егоровна, его дальняя родственница, сама в девичестве Шмелева. Проучился он там всего три месяца, с августа по ноябрь. В 1913 году Шмелев вспоминал: «Меня подавили холод и сушь. Это самая тяжелая пора моей жизни — первые годы в гимназии. Тяжело говорить. Холодные сухие люди. Слезы. Много слез ночью и днем, много страха». Уже в детстве накопились обиды и страхи, все, что в зрелые годы обернулось страстностью, непримиримостью и даже мнительностью.
Каждое утро маленький Иван шел по Якиманке, через Большой Каменный мост к Волхонке, к розовому огромному зданию за высокими чугунными воротами. Из-за своих рефлексий он был отстающим; разбирая «Птичку Божию», не мог определить сказуемое; получал колы и двойки, и смятение его разрасталось, застило весь свет. На перемене он ютился под пожарной лестницей на большом дворе; до него доносились запахи сыра, колбасы, слоек, он в одиночестве жевал в своем укрытии пустой розанчик — пятачка на гимназический завтрак дома не выдавали.
Матушка решила перевести его в другую гимназию — под номером шесть. Она находилась неподалеку от дома, в Большом Толмачевском переулке, в усадьбе графов Соллогубов, за чугунными воротами с литым фруктовым орнаментом. Собственно, посоветовал ей это сделать четырехклассник шестой гимназии некто Сережа Волокитин. Хотя бабушка и называла его пакостником, совету его вняли. Просторные классы сменили маленькие уютные комнаты, а в учебе Шмелев выказывал успехи. Из последних учеников стал чуть ли не первым. Он попал в свою среду.
