Титул вице-короля Люсьен не получил. Он отказался покинуть свою вдову Жубертон и продолжал настаивать на том, что его дети должны получить «династические права» и титул «Императорское высочество». Когда Наполеон довольно резко отказался выполнить его требования, Люсьен, надувшись, замкнулся в добровольной ссылке в своем прекрасном дворце в Риме. Император не оставлял попыток расторгнуть этот брак; ему хотелось, чтобы брат всегда был у него под рукой на роль супруга какой-нибудь весьма полезной иностранной принцессы. Люсьен тем временем беспрестанно жаловался остальным родственникам, что без его усилий империя просто не появилась бы на свет. Когда вмешался дядя Феш, он получил от Люсьена резкую отповедь: «По крайней мере имейте достаточно разума, чтобы не сравнивать меня с Жеромом, и упасите меня от неловкого положения, в которое меня ставят ваши трусливые советы… Скрывайте свои жизненные идеалы под вашим кардинальским пурпуром и ступайте дальше по стезе человеколюбия в полном молчании».
Верно, по сравнению с Люсьеном Жером был сама покорность, он был готов оставить жену, лишь бы только угодить Наполеону. Он вернулся из Балтимора в марте 1805 года на «Эрин», быстроходном клипере, построенном по заказу его тестя, в сопровождении супруги и ее брата Уильяма. Когда они сошли на берег в Лиссабоне, то были встречены французским посланником, который известил их, что «миссис Патерсон» въезд во Францию запрещен. «Передайте своему повелителю, — гордо ответила ему Бетси, — «мадам Бонапарт» честолюбива и требует предоставить ей все права императорского семейства». Жером тогда уговорил ее отправиться в Амстердам, а сам отбыл уламывать брата, который в ту пору находился в Милане. Император отказался принимать его, если он не примет все его условия. К началу мая воля Жерома к сопротивлению была сломлена, и он написал Наполеону покаянное письмо. Бетси нашла пристанище в Англии, что было неразумно с ее стороны. В июле в городе Камберуэл она родила сына, которого назвала Жером — Наполеон Бонапарт. Император твердо сказал отцу младенца: «Твой союз с мисс Патерсон не имеет юридической силы, как в глазах религии, так и правосудия». И хотя папа объявил, что церковь признает законность его брака, Жером сдался. Он написал Бетси, уверяя, что любит и ее, и сына, и попросил ее вернуться в Балтимор и верить ему. В июле он снова вернулся на флот, где получил командование небольшой эскадрой в Генуе. Что характерно, Жером самолично повысил себя до полного капитана без всякого официального приказа и облачился в подобающую званию форму. За свои вольности он получил резкий выговор от брата. Затем он повел свои корабли в Алжир, откуда вернулся с двумястами выкупленными из рабства французами и итальянцами, чью свободу уже обеспечил французский консул. По возвращении Жером совершенно незаслуженно получил восторженную хвалу от французских газет и обещание от брата быть повышенным в ранге. Тем временем он направился в Париж, где предался безудержному распутству. Время от времени он посылал Бетси в Балтимор письма, называя ее при этом Элизой.
