В Испании Люсьен содержал великолепный особняк и давал пышные приемы, которые не могли не произвести впечатления на испанцев. Он обзавелся любовницей сомнительной репутации. Это была немка-авантюристка, называвшая себя маркизой де Санта Крус. Кроме этого, Люсьен принимал от испанцев подозрительно щедрые подношения. Король преподнес ему свой портрет, попросив распаковать подарок подальше от посторонних глаз. Внутри футляра оказались бриллианты стоимостью в полмиллиона франков. В апреле 1800 года Люсьен снова навлек на себя гнев брата, намекнув, по подсказке короля, что Первый консул должен развестись с Жозефиной и взамен той жениться на инфанте Изабелле. («Не понимаю, с какой стати я должен избавиться от супруги, — заявил как-то раз Наполеон, — только потому, что я стал более значительной персоной, чем когда-то»). Люсьен и дальше дал повод для неудовольствия, предоставив Португалии совершенно непозволительные уступки в договоре, который он заключил в том же самом году, получив от португальцев еще больше бриллиантов. В конце 1801 года Люсьен оставил свой пост и без разрешения вернулся в Париж. Затем он продал в Амстердаме полученные в качестве взятки бриллианты, а вырученные деньги разместил в Лондоне и Соединенных Штатах. Теперь он стал владельцем несметных богатств. Люсьен полностью забросил общественную деятельность и перебрался в громадный особняк — отель де Бриенн, снятый им за астрономическую сумму в 12 тысяч франков в год, где держал двор подобно Жозефу. Его в высшей степени непрезентабельная любовница поселилась за городом в Ле-Плесси-Ша-Ман, куда Элиза частенько наносила визиты, чтобы соблюсти приличия. Поговаривали что Люсьен любит собственную сестрицу сильнее, чем эту «маркизу де Санта Крус».
Если нам заняться изучением портретов, то мы заметим, что Люсьен был высок ростом, смугл, с непропорционально маленькой головой, и его небольшое нервное лицо близоруко взирает на нас с полотна. Он совершенно искренне полагал, будто 18 брюмера было целиком делом его рук и Первый консул вознесся исключительно благодаря его стараниям. Однако позднее его единственным вкладом в укрепление режима брата стало выискивание в обеих палатах тех, кто противостоял диктатуре, и произнесение по торжественным случаям агрессивных пропагандистских речей. И только близкие ему женщины, которые находили его наиболее привлекательным, искренне верили в его способности.
Люсьен был наиболее откровенным и язвительным врагом Жозефины. Она отвечала тем, что подбрасывала своему бывшему патрону Фуше подробные описания наиболее недостойных выходок своего деверя, чтобы очернить его в глазах Наполеона. К тому же она постоянно предостерегала супруга, чтобы тот не следовал советам брата. Это ее тихое ответное наступление, по всей вероятности, послужило в 1800 году причиной насильственной отставки Люсьена с поста министра внутренних дел. Остальные члены клана обвинили «эту вдову», будто она стравливает родных братьев, и ненавидели ее пуще прежнего.
