Ребенок рос, скандалы принимали все больший размах, ив 1764 году отец поместил Оноре в военную школу, надеясь обуздать его нрав. При зачислении маркиз запретил сыну называться своим настоящим именем и записал его как Пьера Бюффье. Но четыре года муштры не утихомирили буйного наследника не менее норовистого отца. Под тем же вымышленным именем Оноре после окончания школы попал в полк. Здесь он вел весьма беспорядочную жизнь и умудрился за короткий срок наделать массу долгов. Вдали от родительского дома в полной мере проявилась склонность молодого человека к авантюризму и необузданная страсть к удовольствиям. Внезапно он сбежал с места военной службы, спасаясь от кредиторов и обманутой им девицы. Известия, полученные маркизом о разгульной жизни старшего сына, вызвали у него взрыв негодования. Он добился особого разрешения и отправил непутевого отпрыска под стражу в крепость на острове Рэ. Это заключение стало началом длительного скитания Оноре по тюрьмам и яростной многолетней борьбы между отцом и сыном. Конфликты чаще всего происходили из-за денег: маркиз был очень богат, но при этом патологически скуп и долги наследника оплачивать не торопился. Не одобрял старый аристократ и бесконечные любовные похождения Оноре, из-за которых тому пришлось оставить военную службу.
Из заключения буйный молодой человек смог выбраться, выразив готовность немедленно отправиться в военную экспедицию на Корсику. Оттуда он вернулся уже в чине капитана драгун, но образ жизни менять решительно не собирался. Правда, между несением службы и веселыми похождениями он все же умудрился выкроить свободное время и написать «Историю Корсики». Это вызвало новый виток напряженности в отношениях с отцом. Маркиз уничтожил книгу, едва она попала к нему в руки, поскольку написанное в ней шло вразрез с его собственными философскими и экономическими взглядами. Но был в этом эпизоде жизни Оноре и положительный момент: отец наконец-то заметил, что его сын обладает большими умственными способностями и талантом экономиста и политика. Спустя некоторое время, обуздав свою гордость, Виктор де Мирабо сообщил юноше, что согласен на примирение и готов дать ему шанс завоевать уважение родителей. В дальнейшем он всячески старался привлечь молодого человека на сторону своих экономических теорий. Так, маркиз внезапно выразил желание вернуть наследника домой, где поручил ему управление своими поместьями, и настоял, чтобы сын вновь принял имя Мирабо.
