Когда внезапно скончалась бабушка Германа, он остался на попечении своей двоюродной бабки. Он был её любимцем, радостью жизни, и она никому не позволяла наказывать и «исправлять» его. Она посвятила себя его благосостоянию и гордилась его достижениями и талантами.
Поступив в школу, он до её окончания учился в одном и том же классе. «Такая обстановка как бы специально была устроена для того, чтобы я ничего не знал о мире… Если бы я знал что-то о мире, я, наверное, не был бы тем, кто я сейчас.»
Я никогда не был частью этой планеты. С младенчества я был изолирован от неё. Я был посреди всего происходящего и одновременно не принадлежал ему. Людские неприятности, предрассудки и всё такое — я ничего об этом не знал примерно до 14-ти лет. Похоже, что я был где-то ещё, в каком-то другом мире, почему в моём разуме и запечатлелась эта чистота. Это моя музыка играет роль того мира, о котором я знаю. Похоже на то, как если бы человек с другой планеты пытался сообразить, что ему делать. У меня именно такой разум, или дух — незапрограммированный, ни семьёй, ни церковью, ни школами, ни правительством. У меня незапрограммированный разум. Я знаю, о чём они говорят, но они не знают, о чём я. Я нахожусь в самой гуще их дел, но они никогда не были в той среде, которая запечатлелась в моём разуме — части чистого солнечного мира.
Первым его воспоминанием о музыке было то, что у его старшего брата Роберта были граммофонные пластинки, и то, что все они ему нравились. Взрослые смеялись над ним — когда они просили что-нибудь поставить, он начинал бегать туда-сюда и искать пластинки, ещё не умея прочитать надписи на этикетках. Через несколько лет брат начал приносить домой новые пластинки, записанные отцом свинга Флетчером Хендерсоном. Герман был от них в полном восторге — его очаровывали искусство и блеск музыкантов в хитро меняющихся ртимических рисунках "Whiteman Stomp", роскошный «китайский стиль» "Shanghai Shuffle", латинская экзотика "The Gouge Of Armour Avenue". Он вспоминал, что сочинение мелодий казалось ему естественным процессом — «как полёт птицы». «Ребёнком я распевал мелодии, бродя по улицам. Но тогда я не мог их сыграть. Мне хотелось записать мелодии, приходившие мне в голову, но я не знал, как это сделать.»
В день, который он впоследствии осторожно называл одиннадцатой «годовщиной прибытия», его двоюродная бабка Айда купила ему в подарок пианино. Поскольку его сестра уже умела на нём играть, это сразу же стало источником трений между ними, и эти трения стали ещё сильнее, когда Герман начал играть без подготовки. Он играл не просто на слух (как утверждали о себе столь многие великие музыканты) — он умел читать музыку. В школе он уже узнал названия и расположение нот; теперь он тайком стащил у сестры её
