Отец не отказался от сына, он даже получил титул барона, однако злой судьбе было угодно, чтобы Жак де Луз де Сен-Реми, барон де Фонтет, влюбился в дочь своей консьержки, Мари Жоссель, девушку легкомысленную и бессердечную, обладавшую к тому же страшной алчностью. Вопреки всем доводам рассудка, он женился на ней, и очень скоро острые зубки красотки Мари перемололи все его состояние. Продав последнее, бедняга Сен-Реми прибыл в Париж, где тотчас угодил в приют для бедных и там скончался — 16 февраля 1762 года.
Мари Жоссель успела подарить супругу четверых детей: Жака, родившегося в 1751 году; Жанну, девочку, остановившую карету мадам де Буленвилье; Мари-Анну, которую мать хладнокровно бросила в Фонтете, где той пришлось наняться в трактирные служанки, и Марию-Маргариту, болезненную малышку, которая в свои четыре
года выглядела двухлетней.
После смерти мужа недостойная Мари Жоссель не нашла ничего лучшего, как отправить малышей попрошайничать на улицах Парижа; она же нашептала им странную фразу, столь поразившую мадам де Буленвилье.
К несчастью, те крохи, что приносили дети, не удовлетворяли любовника их матери, солдата с Сардинии по имени Жан-Батист Раймон, с которым вдова вела общее хозяйство. Поэтому вскоре матушка окончательно бросила детей, предоставив им великолепную возможность выкручиваться самим. Узнав все это, мадам де Буленвилье тотчас разыскала несчастных малюток и устроила их в своем замке в Пасси, где окружила их заботами, столь необходимыми детям, чье состояние было поистине плачевно.
Она даже отыскала в трактире Фонтета малышку Мари-Анну и, решив всерьез заняться воспитанием детей, принялась отучать их от пагубных привычек. Однако дурное обращение, которому подвергались дети, живя вместе с Раймоном и Мари Жоссель, и последующее бегство матери ожесточили детские сердца. Особенно сердечко юной Жанны, которая на свое — и не только свое — несчастье необычайно походила на мать, а именно была столь же хитра и красива.
Впоследствии Жанна написала мемуары, в которых беззастенчиво поливала грязью супруга маркизы де Буленвилье, да и саму благодетельницу. Между тем совершенно очевидно, что маркиза усердно заботилась о детях. Начала она с того, что поместила малышек в пансион для девочек некой мадам Леклерк. Жак, старший брат, также был отдан в учение, а по прошествии нескольких лет его представили господину д'Озье де Сериньи, главному знатоку генеалогии древних родов королевства. Д'Озье должен был подтвердить право Жака на титул и доказать его дворянское происхождение. Получив подтверждение своего происхождения, Жак под именем барона де Валуа поступил на службу на Королевский флот.
