Непрочность положения не помешала Бонапартам воспользоваться ситуацией в своих интересах. В 1806 году Жером сравнивал в письме Люсьену «нашу семью и семейство Бурбонов». Как замечает Питер Гейль, «ничто нас так не поражает, как та легкость, с которой Бонапарты освоились со своим высоким положением…, этот головокружительный взлет, хотя никто из них ни в малейшей мере не страдал от головокружения. Кажется, они так и не поняли, что без гения брата они ничто». Наполеон подчас был способен напомнить им об этом сердито и без обиняков. Например, когда Жозеф пытался подчеркнуть свои «права», угрожая, что не явится на императорскую коронацию, чем уязвил Наполеона в самое чувствительное место своей жадностью к власти, тот вспылил: «Если ты не придешь, то станешь моим врагом. Но какую армию ты поведешь против меня? У тебя ведь ничего нет, и если действительно дойдет до этого, я уничтожу тебя». Жозеф присмирел, но сколько раз Наполеон все уступал ему, и сколько раз он еще будет это делать снова и снова из-за своей неразумной слабости перед семейными узами (если хотите, можете назвать эту слабость корсиканской).
Братья Наполеона были одержимы фантазией, что они сами или же их дети унаследуют от Наполеона трон. В какой-то момент Жозеф настолько поддался опьяняющему возбуждению, что выстрелил из пистолета в портрет императора, обозвав при этом последнего «тираном». Жозеф пришел в негодование, когда Наполеон предложил усыновить сына Луи-Шарля Наполеона, внука Жозефины, в качестве своего наследника, и отчаянно цеплялся за свои «права» старшего брата. В свою очередь Луи отказался передать пальму первенства собственному сыну. С другой стороны, Люсьен, который возвратился в Париж, слышать не хотел, чтобы его сын от мадам Жубертон оказался исключенным из числа наследников, и вскоре, взбешенный, снова уехал в Италию. В конце концов удалось достичь компромисса.
Был установлен следующий порядок наследования: первым в ряду стоял Жозеф, за ним шел Луи, затем их потомки по мужской линии. Правда, император оставил за собой право усыновить любого принца из императорской семьи в качестве наследника по достижении последним восемнадцати лет. Наполеон также выдвинул условие, что его наследник должен служить в армии, а чтобы эта оговорка не мешала Жозефу, император объявил, что брат «выразил свое желание разделить все тяготы армейской жизни в прибрежном лагере в Булони, чтобы таким образом приобщиться к военной доблести». После этого Бонапарт снабдил брата совершенно неслыханным послужным списком, в котором утверждалось, будто Жозеф участвовал во всех кампаниях 1793–1794 годов и даже был ранен при осаде Тулона. Жозеф отправился на несколько недель в Булонь, где, по всей видимости, посвятил все свое время местным дамам легкого поведения. Скрыв свою внешность под париком и очками, он в первую очередь наведался к мадам Фаган — «очаровательной особе из Дюнкерка», к которой благоволили несколько генералов, включая Сульта. У Жозефа там имелось по меньшей мере еще четыре любовницы, среди них одна актриса, супруга одного из приятелей и супруга молодого офицера. В ответ на жест Наполеона Жозеф милостиво согласился позволить собственной супруге Жюли вместе с Элизой, Полиной, Каролиной и Гортензией нести на предстоящей коронации шлейф Жозефины. При этом сам он морщился, глядя на смехотворный костюм, в котором должен появиться на этой церемонии.
