Жозеф тоже никак не мог примириться с мыслью, что он больше не суверен, не король Испании Наполеон резко отзывался о брате, когда в ноябре 1813 года граф Редерер сообщил императору о его настроении.
«Что за химера! — комментировал император. — Они (испанцы) не желают его возвращения! По их мнению, он ни на что не годен. Им не нужен король, который проводит все свое время с женщинами, играя в прятки и жмурки. Король (Жозеф) полностью зависел от своих женщин, своих домов, своей мебели Он мне сказал в Прадо со всей серьезностью, что мои гренадеры не смеют устраивать в его дворце беспорядок, а ведь я принес в жертву многие тысячи сотни тысяч, чтобы только он мог править Испанией». Говоря о Виттории, Наполеон продолжал «И как он проиграл эту битву. Да он не знает даже азбуки военного дела и тем не «менее рвется в сражение!» Когда Редерер предложил дать Жозефу взамен итальянскую корону, ответ Наполеона не оставил сомнений, что он думает о Жозефе и Евгении: «Если я разделю французскую и итальянскую короны (а я до сих пор так и не принял решения, то ли мне их соединить, то ли разделить), должен ли я при этом свергнуть вице-короля, молодого человека, который пользуется любовью и уважением и который всегда верно и преданно служил мне? У него есть понятие о чести, в то время как у Жозефа — нет никакого». На какое-то время Жозефа оставили в покое, и он, подобно Жерому, маялся без дела в приятной роскоши столь любимого им Морфортена, где проводил время с тех пор, как вернулся из Испании устраивал пикники и лодочные прогулки, охотился, музицировал и, разумеется, волочился за юбками. «Мадам мать» и его супруга Жюли беспрестанно разъезжали между Морфонтеном и Тюильри, пытаясь примирить братьев. В конце концов Жозеф проглотил обиду и 5 января 1814 года послал императору официальное письмо (должно было быть опубликовано), в котором предлагал свои услуги как «первый из французских принцев и первый из ваших подданных». В знак признательности ему было позволено сохранить за собой титул «король Жозеф» вместо «король Испании». Кроме того, 24 января, перед тем как отправиться на фронт, император назначил брата генерал-лейтенантом Франции, традиционным для Франции протектором королевства, которому вменялась в обязанность защита Парижа и командование воинскими частями как в самой столице, так и вокруг нее. Можно усомниться в целесообразности назначения на столь важный пост столь, далекого от военных дел, ленивого, никчемного и, как покажет будущее, трусливого создания. Пожалуй, на тот момент Жозеф был единственным, на кого, как надеялся Наполеон, можно было положиться в деле сохранения династии. Ведь для молодой женщины, которую буквально на днях возвели в звание императрицы-регентши, это было бы слишком непосильной ответственностью.
