В 1896 году поэт поселился в Царском Селе, «городе муз», став директором Николаевской мужской классической гимназии. Для директора была предоставлена квартира, располагавшаяся на втором этаже гимназии и имевшая большую веранду. Окна выходили на Малую улицу. Во дворе был личный сад Анненского. Он очень любил цветы и с удовольствием их разводил. Вот как вспоминал то время будущий поэт, а тогда маленький мальчик Всеволод Рождественский: «Огромная директорская веранда выходила в сад, где бежали улицы, желтеющие песком дорожки и дремали клумбы с необычайно яркими, пряными цветами, которые так любил их хозяин, И. Ф. Анненский. С самого раннего детства я помню его высокую суховатую фигуру, чинную и корректную даже в домашней обстановке. Неторопливо раскачиваясь в плетеной качалке, он узкими, тонкими пальцами с какой-то брезгливой осторожностью перебирал страницы журнала или, опираясь на трость, долго следил за танцующим полетом лиловой бабочки над ярко распахнутой чашей георгина или мохнатой астры…»
Спокойный и горделивый, в туго накрахмаленном высоком воротнике и в широком галстуке старинного покроя, с приветливым взглядом серо-синих глаз – этот человек сразу сумел внушить своим ученикам любовь и преклонение. Современница Анненского Любовь Гуревич в статье, посвященной его памяти, писала: «Рассказы гимназистов, его учеников, дополняемые личными впечатлениями, рисовали образ учителя, не похожего на обыкновенных русских учителей, – изысканного, светски-любезного в обращении со старшими и младшими, по-европейски корректного, остроумного, с каким-то особенным, индивидуальным изломом в изящной стройной фигуре, в приемах и речах».
Однако заслуга Анненского была не в том, что гимназисты пытались постигнуть античную трагедию, а в том, что он, по воспоминаниям Эриха Голлербаха, «звал к „пленительным и странным“ мечтаниям, с которыми не сравнится никакая педагогическая „польза“. На глупую шалость ученика педагог мог без злобы вяло уронить: „Вульфиус, какая вы дрянь…“ Но когда в 1905 году начались студенческие волнения, директор не посчитал нужным вмешиваться в дела своих подопечных. На одном из педагогических собраний он так и сказал: „Считаю учеников гимназии благородными, независимо от их взглядов“. Он был популярен среди гимназистов, но высшие чины его недолюбливали. Все это не прошло для Анненского даром, в 1906 году он был удален с директорского поста, о чем переживал до конца жизни».
