Вскоре после рождения Эрнста его родителя расстались, мать с двухлетним Эрнстом возвратилась в дом своих родителей Дёрферов, где он и прожил первые два десятилетия на попечении педантичной бабушки и беспечного дяди. Мать не принимала никакого участия в воспитании сына, и ее смерть в 1796 года оставила сына равнодушным. Уже став взрослым мужчиной, Гофман не раз сетовал, что у него в детстве не было настоящей семьи.
Своему ближайшему другу Теодору Гиппелю он в 1806 году напишет: «Что за родственников дала мне судьба! Были бы у меня отец и дядя, как у тебя!.. Ты был окружен своей семьей, у меня же не было семьи. Тебе предстоит жить и восходить вверх ради государства, меня же сковывает жалкая посредственность, в которой я могу пропасть».
С малых лет Эрнст испытывал чувство одиночества в мире, его преследовали мистические видения. В девять часов вечера мальчика отправляли спать. Со свечой в руке он проходил на цыпочках по пустынным комнатам, быстро скользил мимо зеркал, потому что, если дети, ложась спать, смотрят в зеркало, то им могут присниться страшные рожи. Старая служанка очень часто уверяла его в этом. Лежа в постели, он прислушивался к малейшему шуму: потрескиванию мебели или шороху мыши. С церковных колоколен доносился бой часов… Пробило, наверное, полночь. Из соседней комнаты приближаются тяжелые шаги. Это призрак или страшный Песочный человек, выкалывающий глаза маленьким детям, которым пугали его домашние, чтобы он быстрее заснул. Но получалось наоборот. Эрнст прятал голову под одеяло и долго лежал без сна, разговаривая с призраками.
Шли годы, впечатлительный талантливый мальчик многому научился. Уже подростком он свободно играл импровизации на органе, клавире, скрипке, хотя системного музыкального образования не получил. Много и талантливо рисовал, особенно ему удавались шаржи и карикатуры. Появилась страсть к чтению. Европейская литература пополняется новыми именами Руссо, Вольтера, Гете, Шиллера, их книги с упоением читает кенигсбергский юноша. Но особое восторженное впечатление, как и на многих других современников, на Гофмана произвел роман Карла Гроссе «Гений» (1791 год): «Было одиннадцать часов, когда я отложил книгу в сторону. Кипение бесчисленных страстей оглушило и парализовало мой рассудок… В состоянии, одинаково далеком от сна и бодрствования, я лежал на моей кровати; легкое шуршание – словно порыв ветра пронесся по моей комнате – заставило меня очнуться, и я узрел своего Гения…»
