Во всяком случае своим одноклассникам Гаральд Квандт не запомнился как приверженец национал-социализма. Политика не была его делом, говорил позже один из них. Об отношениях в семье он также никогда не рассказывал, но все же как пасынок Геббельса он был звездой. «Товарищи почитали его. У него было много друзей, но также много подхалимов, которые хотели войти к нему в доверие», — писал одноклассник Харви Т. Рове.
Гаральд Квандт провел юность в доме министра, в обстановке блеска и роскоши. Уровень достатка был примерно такой же, как и у его отца. В 1936 году семья Геббельс приобрела имение в Шваненвердере, на полуострове озера Ваннзее. Здесь был большой дом, флигель для гостей и хозяйственные постройки с сараями и кладовыми. Там Геббельс устроил кинозал. У причала стояла белая моторная яхта «Baldur». У детей Геббельса были собаки и пони. Гаральд рос в окружении своих шести сводных братьев и сестер, пятеро из которых были девочки. Они любили его и льнули к нему. А он очень хорошо чувствовал себя в роли старшего брата, что должно было наложить определенный отпечаток на его личность.
Будучи пасынком Геббельса, Гаральд Квандт оказался в центре политических событий Третьего рейха. Гитлер часто приходил в дом Геббельсов. Среди их гостей мальчик видел многих политиков и известных деятелей Германии и из-за рубежа. Одноклассники завидовали положению Гаральда. Он был к тому же первым в классе, у кого появился мотоцикл. А в 1938 году мальчик проехал в машине мимо школы Гердера на Байерн-аллее, что было сенсацией. Автомобиль, надо думать, был подарком родного отца. В летние каникулы 16-летний юноша доехал на своем «DKW-Reichsklasse» даже до Рима, написав белой краской на кузове слова «Берлин—Рим—Берлин». У него уже тогда, как свидетельствуют одноклассники, была склонность к рекламе.
Однако Гаральд Квандт знал не только парадную сторону событий, он знал и их изнанку. В 16 лет он стал свидетелем серьезного кризиса брака его матери и отчима. Геббельс в течение многих лет явно изменял Магде. Как контролер киноиндустрии он использовал любую возможность для любовных приключений с актрисами, не стесняясь оказывать на них давление для достижения своих целей. Нарушения супружеской верности шефа пропаганды постепенно сделались предметом сплетен и привели к тому, что рейхсминистра стали называть «козел из Бабельсберга».
Магда Геббельс давно смирилась с судьбой и тоже нашла себе отдушину. Она терпела измены Геббельса до тех пор, пока это не вредило ее собственному положению в обществе. Однако осенью 1936 года Геббельс завел интрижку с чешской актрисой Лидой Бааровой. Ей был 21 год, она была очень хорошенькая, и ее внешность резко контрастировала с нордическим типом Магды Геббельс. На сей раз это было больше, чем сексуальное приключение: министр и актриса любили друг друга. Из-за Геббельса Баарова рассталась со своим спутником жизни, звездой студии UFA Густавом Фрёлихом. В декабре 1937 года Геббельс переехал с семейной виллы в Шваненвердере в маленький домик, который находился на том же участке. У него также был прекрасный рубленый дом в Ланке на Боденском озере, где он мог уединиться со своей возлюбленной. О разводе министр не думал, он предпочел бы супружескую жизнь втроем.
