В 1747 г. он получил назначение на остров Мартинику, где пробыл с небольшими перерывами двенадцать лет. В течение этого времени Казоту не раз пришлось испытать на себе самоуправство и произвол французских колониальных властей, а под конец он стал жертвой мошеннических махинаций иезуитских миссионеров. В 1759 г. Казот окончательно вернулся во Францию - с подорванным здоровьем, полуслепой; большую часть приобретенного на Мартинике состояния он перед отъездом предоставил иезуиту Лавалетту взаймы под вексель, который должен был быть оплачен в Европе. Однако иезуитские организации отказались оплатить его. Не помогли и многократные обращения Казота в высшие инстанции иезуитского ордена. Такими же безрезультатными оказались и хлопоты в министерстве о пенсии. В 1760 г. Казот вышел в отставку и поселился в небольшом поместье в Эперне, откуда время от времени наезжал в Париж, поддерживая связи с литературными кругами и принимая участие в литературной жизни. В 1768 г. он был избран в провинциальную литературную академию своего родного города Дижона.
В последние годы жизни Казот увлекся мистическими идеями и стал членом одного из тайных обществ, получивших с середины XVIII в. широкое распространение в Европе, в особенности во Франции, под названием "масонских орденов". Общества эти преследовали просветительные и политические цели, заменяя политические партии и открытую борьбу против феодального режима, невозможную в условиях абсолютистского государства. Они создавали видимость социального равенства своих членов, противопоставляя сословному "общечеловеческое", и окружали себя таинственной обрядностью, частично заимствованной из средневековых книг по магии. Членами различных масонских орденов накануне Французской революции были многие выдающиеся писатели, ученые и будущие политические деятели - от герцога Филиппа Орлеанского, ближайшего родственника короля, до Кондорсе и Робеспьера.
С другой стороны, внутри масонства существовали течения, неудовлетворенные вероучением господствующей церкви, которые пытались заменить ее обряды и верования магическим ритуалом, обещавшим "посвященным" возможность "непосредственного" общения с миром духов и подчинения его власти человека.
Одним из таких тайных обществ, получивших общее название "иллюминатов" (буквально - "озаренных"), была секта мартинистов, последователей португальского теософа Мартинеса Паскуалиса. С ними и сблизился Казот в середине 1770-х годов. Биографическая легенда связывает его вступление в тайное общество с выходом в свет повести "Влюбленный дьявол" (1772). Вскоре после появления этой книги к Казоту якобы явился незнакомец, молчаливо приветствовавший его условным знаком тайного братства. В ответ на недоуменный вопрос писателя он пояснил, что считал его "одним из наших", то есть посвященных в тайный ритуал и философское учение своей секты, ибо то и другое получило достаточно верное отражение во "Влюбленном дьяволе". При этом незнакомец угрожал Казоту суровой карой за разглашение тайн ордена. Завязавшаяся затем беседа будто бы имела своим следствием "обращение" писателя в новую веру.
