Его старшая сестра Мэри вела себя гораздо менее осмотрительно: «Он родился в доме тётки моей матери — там, рядом с железнодорожной станцией… Я знаю, потому что я встала на колени и подглядела в замочную скважину. Он не с Марса.» Кэри и Айда Блаунт вместе со своим первенцем Робертом переехали в Бирмингем из Демополиса, торгового центра в крупном районе плантаций на западе Алабамы рядом с Миссисипи; этот город когда-то был коммуной французов-утопистов. У Кэри Блаунта было четверо детей от первого брака — когда он забрал с собой Айду и перешёл работать на железную дорогу, Маргарет, Делла и Джордж остались дома, а Кэри-младший поехал с ними. Айда развелась с мужем, когда Герман был ещё ребёнком, а когда её дом сгорел, она вместе со своей дочерью Мэри, Робертом и Кэри-младшим перебралась в другой дом в северной части города. Германа вырастили его бабушка по матери Маргарет Джонс и двоюродная бабушка Айда Ховард — они жили в большом двухэтажном доме по адресу 2508, 4-я Северная Авеню (это была торговая часть города). Через квартал находилась Конечная Станция — огромная изящная постройка с куполом и громадными крыльями; в одном из них было багажное отделение, а в другом — зал ожидания для цветных. Это была крупнейшая железнодорожная станция Юга — узел одиннадцати линий, через который люди пересекали штат и ехали в Чикаго (ближайший город севера) или из него. Все они проходили под огромной вывеской на фасаде вокзала, на которой тысячами огней было написано: «Добро пожаловать в Волшебный Город».
Лайонел Хэмптон вспоминал эту станцию как крупный развлекательный центр Бирмингема — люди сидели на путях и смотрели на проходящие мимо поезда — «Экспресс Чёрный Алмаз», «Город Новый Орлеан», «Закат-Лимитед» (все они потом были увековечены в песнях); толпы народа аплодировали официантам, которые накрывали столы в вагонах-ресторанах, портье, застилающим постели, приветствовали машинистов, подающих свистки и кочегаров, звонивших в колокол. Когда поезд начинал медленно отходить от станции, кочегар бросал направо-налево несколько лопат лишнего угля (зрители могли забрать его с собой), а повара разбрасывали еду.
Мать и двоюродная бабушка Германа работали в вокзальном ресторане, и когда они были на работе, за ним присматривала бабушка. Ему никогда не нравилась её стряпня, так что при каждом удобном случае он шёл на вокзал, где мать и двоюродная бабка кормили его на кухне большого станционного ресторана. После этого он шёл в столовую и слушал, как механическое пианино играет последние записи — типа "Haitian Blues" и "Snake Hips" Фэтса Уоллера.
