Другое глубокое переживание детства было связано у Бальзака с Вандомским коллежем ораторийцев. Заведение это до сих пор существует, и, разумеется, нынешняя его атмосфера не имеет ничего общего с той, что царила там почти два века тому назад. В «Луи Ламбере» Бальзак, основываясь на своих воспоминаниях об этом заведении, довольно точно описал его. Переступившие порог его суровых монастырских зданий оставались там надолго: каникул не полагалось, посещение родными — по особому разрешению, прогулки — по строгому распорядку. Дисциплина была суровой: «Классическая медная линейка с честью исполняла там свою жуткую роль. Некогда изобретённые иезуитами наказания, столь же пагубные для психики, как и для тела, полностью сохранились от старых порядков. По определённым дням воспитанники обязаны были писать письма родным, а также ходить на исповедь. Наши грехи, как и наши чувства, находились под контролем».
Воспитанника Бальзака там знали «крупным пухлощёким, румяным мальчиком, у которого зимой вечно зябли руки и ноги; он был молчун, из него трудно было вытянуть слово». Другой педагог описал Оноре более снисходительно, отметив, что он «был по характеру медлителен, но благодушен и поведения хорошего». В целом — персонаж, вызывающий некоторую жалость.
Известный печальный эпизод в повести «Луи Ламбер», когда герой украдкой пишет «Трактат о воле», который у него по доносу безжалостно конфискует наставник, по уверению Лоры Сюрвиль, произошёл с её братом. У мрачных коллежей-тюрем было, по крайней мере, одно достоинство: они будили у своих узников, юных непризнанных гениев, воображение и заставляли их мечтать…
Одно можно считать несомненным: в Вандомском коллеже, где замкнутая среда и суровая дисциплина порождали между детьми ссоры, насмешки и насилие, Бальзак прошёл суровую школу.
И ещё одно достоверно установлено: успехами в учёбе он не блистал, тушевался среди сверстников и всех сторонился. Ему в коллеже было плохо. Плохо до такой степени, что в 1813 году его пришлось оттуда срочно забрать домой. Он замкнулся в себе. В наши дни это называют депрессией.
Оноре освободился из Вандомского коллежа не только по причине своего угнетённого психологического состояния. Дело в том, что в 1813 году в семье произошла перемена: Бернар Франсуа Бальзак был переведён в Париж в той же должности управляющего армейскими поставками.
В Париже семья Бальзак поселилась по адресу улица Тампль, 122. Для Оноре испытания с этим переездом не закончились: проучившись ещё год в третьем классе, он оказался в пансионе Лепитр, а затем в частной школе Гансер. Своё среднее образование он без заметных достижений завершил в лицее имени Карла Великого и в 1816 году поступил в Школу прав.
