Итак, мальчик был оставлен у бабушки д'Астуо, той самой, что не смогла явиться на его крестины, и почтенная дама осыпала его ласками и сладостями, потакала всем его капризам, оставляя без внимания его дурные выходки. Тетушки Донасьена тоже были готовы возиться с малышом и ни в чем ему не противоречили, тем более что внешность у маленького Донасьена была просто ангельская: белокурые волосы, голубые глаза и хрупкое телосложение. Как считает сам де Сад, именно бабушкино воспитание развило в нем заложенные от природы недостатки: «В то время, когда отец мой был занят на переговорах, а мать моя последовала за ним, я был отправлен в Лангедок к бабушке, чья слепая нежность взлелеяла все те недостатки, в коих теперь я признаюсь», — напишет он в истории Валькура.
Отправив сына в деревню, граф де Сад возвратился в Париж, где пока еще никто не знал о его расставании с курфюрстом, ибо соответствующие бумаги он никому не показал и жалованье продолжал получать исправно. Постепенно в правительственных кругах начали расползаться слухи, что представитель Людовика, скомпрометировавший себя при кёльнском дворе, разжалован, но по-прежнему получает содержание, причитающееся послу. Это серьезное обвинение граф де Сад не смог полностью с себя снять, и оно стало одним из тех камешков, который, будучи положен в мешок фортуны Жана Батиста, постепенно утянул его на дно реки, именуемой немилостью двора. Непонятная история произошла и с секретарем кёльнского посольства: его обвинили в шпионаже, и, кажется, не без оснований. А шпион-подчиненный не мог не бросить тень на своего начальника. Во всяком случае, история выходила странная и неприятная. Однако, прежде чем ею детально занялся департамент по иностранным делам, в феврале 1745 года граф де Сад сумел добиться нового назначения в Кёльн. Но стоило ему выехать к месту службы, как от курфюрста пришло официальное письмо министру с протестом против возвращения де Сада. Письмо стало сигналом к началу расследования, хотя вернуть графа было уже невозможно. Проезжая через владения австрийской императрицы Марии-Терезии, граф де Сад попал в плен к отряду пандуров, и те отвезли его в крепость Анвер.
Положению графа было не позавидовать. Австрия не являлась союзницей Франции. Курфюрст Климент Август вызволять его из плена не собирался, ибо граф сам попросил его об отставке и курфюрст полностью рассчитался с посланником. Французский двор, убедившись в некорректном поведении де Сада, также не предпринимал никаких шагов. Жан Батист был предоставлен самому себе. Правда, в крепости с ним обращались хорошо, как и подобает узнику его ранга, но освобождать не собирались. Имея возможность вести переписку, он интенсивно общался с оставшимися в Париже друзьями, был в курсе всех сплетен и новостей культурной жизни столицы, много читал, сочинял. Однако неопределенность положения угнетала его, а его корреспонденты не намеревались брать на себя бремя ходатайств и прошений.
