В конце 1823-го или в начале 1824 года, возможно, из-за смерти сына Николая, родители перебрались в дом купца-раскольника И. И. Казина (Ап. Григорьев писал «Козин»), в большой двухэтажный дом, сдававшийся жильцам: кроме Григорьевых в нем жили еще чуть ли не 30 человек. Он и ныне существует (Малый Палашевский пер., 6) — почти радом с Тверской. Отсюда родители водили трехлетнего Аполлона смотреть процессию с гробом Александра I, следующую из Таганрога в Петербург, — Григорьев писал, что помнит это событие как бы «сквозь сон».
После смерти дочери Марии в 1827 году родители переехали почему-то на окраину, в Замоскворечье. Возможно, чтобы быть подальше от мест, пробуждающих тяжелые воспоминания. А может быть, их тянуло на свежий воздух, в мир садов и пустырей. Они сняли часть дома у штабс-капитанши О.Д. Ешевской, вдовы с двумя дочерьми. Дом вместе с подобным соседним одиноко стоял в Малом Спасоболвановском переулке; оба они не сохранились, находились на месте современного административного корпуса кондитерской фабрики «Рот-Фронт» (дом № 13/15; переулок теперь называется 2-м Новокузнецким). Напротив дома, на противоположной стороне переулка (дом № 10) находится церковь Спаса Преображения на Болвановке, давшая названия окрестным переулкам. В советские годы она, как и церковь Иоанна Богослова, была в разрушенном состоянии, ныне замечательно восстановлена во всей былой красе.
На купеческой и разночинной окраине Москвы два дворянских дома выглядели инородцами. Вот как описывает новое жилье родителей Ап. Григорьев: «Как теперь видится мне мрачный и ветхий дом с мезонином, полиняло-желтого цвета, с неизбежными алебастровыми украшениями на фасаде и чуть ли даже не с какими-то зверями на плачевно-старых воротах, дом с явными претензиями, дом с дворянской амбицией». А хозяин второго дома, «племянник вдовы, жил где-то в деревне, и дом долго стоял опустелый, только на мезонине его в таинственном заключении жила какая-то его воспитанница. И об этом мезонине, и об этой заключеннице, и о самом хозяине пустого дома, развратнике по сказаниям и фармазоне, ходили самые странные слухи».
Так Григорьев уже в раннем детстве столкнулся с темными и заманчивыми слухами и легендами, да он и сам по своей натуре страстно тянулся к таким слухам и легендам. С другой стороны, окраина, за которой располагались заводы и фабрики, впервые показала мальчику тогдашний рабочий люд.
За домом Ешевской находился большой сад, простиравшийся до Зацепы и отделявшийся от нее гнилым забором. Аполлон наблюдал сквозь щели забора, «как собирались и разыгрывались кулачные бои, как ватага мальчишек затевала дело, которое чем дальше шло, тем все больше и больше захватывало больших. О! как билось тогда мое сердце, — вспоминал Григорьев, — как мне хотелось тогда быть в толпе этих зачинающих дело мальчишек, мне, барчонку, которого держали в хлопках» (то есть в вате, в хлопке). «А в большие праздники водились тут хороводы фабричными».
