Йозеф Геббельс упивался своей властью, и ничто не мешало ему использовать ее в личных целях. Благодаря диктатуре в Германии многое изменилось, в том числе и отношение Геббельса к своему пасынку. Близость к Гитлеру и министерский пост дали отчиму неограниченную власть над Гаральдом. И он этим хладнокровно пользовался. Когда мальчик с разрешения Гюнтера Квандта проводил пасхальные каникулы 1934 года у Геббельсов, супруги, недолго думая, решили не возвращать ребенка родному отцу.
По этому вопросу произошла короткая, но ожесточенная борьба между министром и промышленником. Получив письмо, в котором его разведенная жена сообщала об их решении, Гюнтер Квандт разбушевался. Особенно возмутило руководителя концерна ликование, с которым Магда сообщала, что ее муж и она теперь обладают такой властью, что могут делать все, что хотят. Однажды, летом 1932 года, когда Геббельсы уже пытались удержать Гаральда у себя вопреки договору, заключенному при разводе, пригрозив прокурором, Квандт получил сына обратно.
Весной 1934 года могущественный владелец концерна также не захотел подчиниться воле бывшей жены и ее мужа. Он поручил адвокату осуществить выдачу мальчика судебным порядком. Но суд, куда юрист подал жалобу, отказался принять заявление, направленное против министра Геббельса. Тогда адвокат Квандта посетил Геббельса в министерстве, чтобы договориться о возвращении Гаральда Квандта по-хорошему. Напрасно. Следствием визита стало лишь то, что юрист потерял свою должность в союзе адвокатов. Геббельс не шел ни на какие компромиссы.
Если Гюнтер Квандт не хотел неприятностей, ему следовало смириться. Двенадцатилетний Гаральд сначала ничего не знал об этих спорах. «Когда я после пасхальных каникул 1934 года не вернулся к отцу, мать объяснила мне, что Геббельс договорился с ним о том, что я останусь здесь», — вспоминал он позже об этом эпизоде.
Мальчик был очень привязан к матери и восхищался отчимом, всесильным и известным министром, но его контакт с отцом полностью тоже не прерывался. Один-два раза в месяц ребенок мог его навещать. Мать знала об этом и не возражала. Однако отношения между матерью и сыном с течением времени менялись. С появлением детей, рожденных в браке с Геббельсом, Магда стала предъявлять меньше претензий на старшего сына. 1 сентября 1932 года родилась первая дочь супругов Геббельс, которую назвали Хельгой. По примеру сыновей Гюнтера Квандта чета Геббельс первую дочь также назвала именем, начинающимся с буквы X
