Разумеется, он обладал безупречными манерами, был немного поэтом в душе, любил хорошую музыку и сам играл на рояле. Помимо всего прочего, женщины находили его на редкость привлекательным.
Мадам де Сталь, знаток мужчин, заметила по поводу знаменитого сердцееда: «Своим единственным уцелевшим глазом он умел покорять прекрасный пол в два раза быстрее некоторых, имевших оба». Нейпперг попадал в бесконечные любовные истории, и его личная жизнь стала притчей во языцех для любителей посплетничать. В 1813 году, после того как его первый брак был признан недействительным, Нейпперг женился на графине Терезе Рамондини, которая сбежала с ним от супруга еще несколько лет назад. К этому времени у них уже было пятеро детей, родившихся вне брака.
Случилось именно то, что и предвидел Меттерних, выбрав Нейпперга на выполнение столь деликатной миссии. Еще 18 августа 1814 года Мария-Луиза писала Наполеону с искренней любовью: «Как счастлива бы я была, сумей присоединиться к тебе в тот момент, когда со мной будет сын. Я распорядилась, чтобы его привезли ко мне, как только получила от отца письмо, в котором он приглашает меня в Вену на конгресс, где будут обсуждаться интересы моего сына. Я чувствую себя совершенно несчастной при мысли, что я не с тобой на твоем счастливом острове. Он стал бы для меня раем».
Это письмо стало последним, которое Мария-Луиза отправила императору как любящая супруга. Оно было написано в ответ на секретную записку, доставленную в Экс-ле-Бен тремя тайными агентами. В ней Наполеон умолял супругу приехать на Эльбу одной; в Генуэзской гавани ее уже поджидал специальный бриг. Однако один из агентов, Мюро де Сорбе (капитан императорской гвардии на Эльбе), был разоблачен и арестован. Мария-Луиза была вынуждена дать отцу обещание, что не посмеет уехать на Эльбу без его разрешения. Она даже согласилась вернуться в Вену через Швейцарию. И коль ей возбранялось жить на Эльбе, она все еще лелеяла надежду править в Парме, а мысль потерять эти владения страшила ее. Мария-Луиза неплохо провела время в Швейцарии. 24 сентября она посетила капеллу Телля и, застигнутая ужасной грозой, была вынуждена заночевать в местной гостинице «Золотое солнце», где и стала любовницей генерала. Не успела она вернуться в австрийскую столицу, как венские острословы окрестили ее «мадам Нейпперг». Во избежание двусмысленности ее положения и ради того, чтобы сей роман мог продолжаться и дальше, Нейпперга назначили ее камергером.
