Еще одна ранняя страсть Шмелева — чтение. Как-то во дворе он увидел дворника, который по слогам читал потрепанную книжечку. Но это был не поминальник и не молитвенник, что казалось необычным для той среды. Мальчик понял, что есть другие книги, их откуда-то берут, и нужно научиться читать.
Сергей Иванович взял — не ради барыша, а чести ради — подряд на строительство «мест» для публики к открытию памятника Пушкину. Тогда семилетний Иван и услышал впервые о Пушкине. И хотя он еще не знал, что Пушкин — поэт, он стал для него своим и близким. Пушкин был постоянной темой разговоров в доме. Его образ долго ассоциировался в памяти мальчика прежде всего со смертельно больным отцом, с оставшимися в его кабинете пригласительными билетами на торжество освящения и открытия памятника. Из этих билетов он строил домики, потом стал учить стихи поэта наизусть. Он читал «Песнь о вещем Олеге» и плакал: жаль было и бедного Олега, и бедного коня. Однажды почтальон принес завернутое в рогожку фисташкового цвета полное собрание сочинений поэта. Тогда и случилось истинное открытие Пушкина. Но разгадан он был только в 1930-е годы.
На Калужской находилась книжная лавка Соколова. В ней не было дверей, и на ночь она закрывалась досками. В этой лавке в енотовой шубе сидел сам Соколов, обладатель рыжего, похожего на лисью морду, с утиным носом, лица. Соколов продавал дешевые книги, книжки-листовки, продавал и редкие издания, попадавшие к нему из Мещанской богадельни от скончавшихся там стариков. Благодаря этой лавке Шмелев познакомился с произведениями Толстого. О Толстом он впервые услышал от парильщика, старого хромого солдата, от которого всегда пахло вином и которому парившийся в шмелевских банях лакей из толстовского дома в Хамовниках подарил книгу «Чем люди живы». В бане же маленький Иван услышал историю о том, что за Крымским мостом живет граф Толстой, который сам ходит за водой, одевается по-деревенски, посещает простые бани за пятак. От рассказа «Чем люди живы» Шмелеву стало печально. Тогда он купил у Соколова книгу «Три смерти», от которой стало еще грустнее: «Помнится, я заплакал, как умирала березка. Но было и интересно: и в книжке разговаривали люди, — совсем как у нас на дворе, наши». У Шмелева даже зародилась мечта написать роман и отдать его на суд Толстому. Ему нравились «Казаки», но скучной показалась «Смерть Ивана Ильича». То ли в пятом, то ли в шестом классе гимназии, на Святках, все дни и ночи он читал «Войну и мир». Толстой притягивал его своей мощью. Уже в детстве Шмелев понял, что Толстой — не как все: раз на Рождество за чаем в доме Шмелевых один батюшка рассказал о произошедшем от гордыни «помрачении» ума Толстого — о его Евангелии, о новой, толстовской, вере. Впечатления о своем открытии Толстого Шмелев позже отразил в рассказах «Как я узнавал Толстого» (1927) и «Как я ходил к Толстому» (1936).
