Отцовство на время охладило страсть Наполеона к военным кампаниям, возраст тоже давал о себе знать. В июле 1811 года новеллист Поль де Кок наблюдал появление Наполеона на балконе в Тюильри. Вместо героя своих мечтаний он увидел тучного, невысокого мужчину — «желтого, заплывшего жиром, обрюзгшего, с низко посаженной головой». В Лондон был отправлен посланник с тайным предписанием изучить возможность заключения с англичанами мирного договора. Предлагались кое-какие уступки; Жозеф должен договориться с испанскими патриотами, в Португалии можно реставрировать семейство Браганца, а Франция и Англия обязуются полностью вывести с полуострова свои войска. Маркиз Уэлсли, брат герцога Веллингтонского и английский министр иностранных дел, ответил, что правительство Его величества только тогда начнет переговоры с Францией, когда последняя признает Фердинанда VII законным королем Испании. Наполеон не прочь был заменить Жозефа на Фердинанда (он был готов на все, лишь бы развязаться с Испанией), однако терпеть не мог, когда ему приказывали. На этом переговоры прервались.
У англичан были все основания держать такой агрессивный тон, ведь для них война на полуострове шла довольно успешно. Бедный Жозеф оказался в весьма тяжелом положении. Французские генералы в Испании стали, в сущности, независимыми полководцами. Они притесняли и грабили испанцев на их собственных землях, полностью игнорируя распоряжения мадридского затворника, который все чаще бессмысленно подписывался «Yo el Rey». Например, Сульт держал себя в Андалузии истинным королем, хотя и без титула. Единственным более или менее успешно работающим правительством могли похвастаться четыре провинции к северу от Эбро — они были присоединены к Франции и преобразованы во французские департаменты. Король «Хосе» страдал от хронического безденежья и был вынужден брать займы под залог своих поместий и оставшихся у него бриллиантов. Когда брат послал ему полмиллиона франков в слитках, кто-то из генералов перехватил конвой и спокойно отсчитал более 120 тысяч франков, чтобы, наконец, выплатить солдатам их законное жалованье. Как замечает Питер Гейль, Испания стала «тренировочной площадкой для непослушания маршалов», что имело катастрофические последствия для всей императорской армии. Когда же Наполеон уступил беспрестанным мольбам брата и дал ему большую власть, назначив его в марте 1812 года главнокомандующим испанской армии с правом решения всех политических и военных вопросов, это мало что изменило. Жозеф получил возможность снимать генералов с командных постов, лишь пожаловавшись Наполеону, но где гарантия, что жалоба дойдет до императорских ушей. Сульт и его коллеги продолжали вести себя как сатрапы. Более того, хотя на бумаге французские силы значительно превосходили силы англичан, на самом деле они были распылены по всему полуострову, увязнув в нескончаемых стычках с бесстрашными партизанами.
