Вторая Его Императорского Высочества Великого князя Михаила Николаевича гимназия, куда пошли учиться мальчики Гумилёвы, располагалась на Великокняжеской улице в доме 32. Открылась она в 1881 году. Но через полгода отец решил перевести обоих сыновей в другую, так как ему не понравились взаимоотношения учителей и учеников в этом учебном заведении. Братья стали ходить в старую 1-ю мужскую гимназию, что на правой стороне Головинского проспекта неподалеку от Военного собора.
Старый город привлекал юного Гумилёва азиатской причудливостью узких и кривых улочек, ныряющих в ущелья и неожиданно появлявшихся бог весть откуда! Он располагался недалеко от шумного, многолюдного армянского базара.
Город был очень зеленым, почти при каждом доме находились сады, а предместья Вера и Ортачалы утопали во фруктовых деревьях. В самое лучшее время года в сентябре-октябре, когда город нежился в теплых и мягких лучах осеннего южного солнца, в садах Веры звучала национальная музыка «дудуки» и «зурны», гремели духовые оркестры, дымился и шипел грузинский шашлык. Особенно много гуляющих было в центре города в Александровском саду (расположенном между Головинским проспектом, Барятинской и Александровской улицами), где возле бассейна стоял памятник Н. В. Гоголю работы местного скульптора Ходоровича. Этот же автор соорудил небольшой бюст А. С. Пушкина, который установили в сквере на Эриванской площади.
Гумилёв любил гулять в ботаническом саду, расположенном на Петханском подъеме возле развалин старой крепости. Здесь на самом гребне высокой скалы сохранилась старинная круглая башня с несколькими помещениями — все, что осталось от дворца грузинских царей, разрушено персами во время опустошительного набега в 1795 году.
В сад вели три дороги. По одной из них, через Коджорский подъем, Коля вместе со своими друзьями братьями Кереселидзе чаще всего попадал в сад. Правда, до этого подъема нужно было еще ехать по Коджорской дороге на девятом трамвае. Коля не только любил разглядывать коллекционные посадки сосен, елей, дубов, лип и многих диковинных растений, которые росли на живописных террасах, но и часто заглядывал в библиотеку ботанического сада, знакомясь со специальными книгами. Анна Ивановна, видя его неподдельный интерес к заповедной природе Кавказа, давала сыну пятьдесят копеек на приобретение годового именного билета в ботанический сад.
Конечно, Тифлис навсегда запечатлелся в памяти Гумилёва. Он провел в нем лучшие юношеские годы с четырнадцати до семнадцати лет.
