Вначале д’Эон не поддался на уловку и отвечал довольно сдержанно. Словесная дуэль, однако, продолжалась и становилась все ожесточеннее. Причем в нее ввязался кое-кто со стороны — одни были за, другие — против д’Эона. Когда такого рода литературы накопилось достаточно, терпение д’Эона лопнуло. И весной 1764 года он выпустил свои записки, в которых зло высмеял посла. Особенно язвительно прозвучали приводимые им отрывки из писем министра иностранных дел и бывшего посла Нивернэи о никчемных способностях и недалеком уме Герши.
Хотя Герши и вызвал огонь на себя, но добился своего, так как теперь можно было начинать судебное преследование.
Однако д’Эон отказался явиться в суд из-за отсутствия четырех свидетелей, сотрудников посольства, которых заблаговременно отослали во Францию. Суд, однако, не учел эту претензию и осудил его за клевету.
Когда констебль с солдатами заявились к нему, чтобы арестовать, они не обнаружили в доме ни одного мужчины, нашли лишь трех женщин. И никому из стражей порядка не пришла в голову мысль, что одной из этих дам и был разыскиваемый ими кавалер.
Казалось, храбрый драгун, хотя его и не удалось арестовать, потерпел поражение. Но не таков был д’Эон, чтобы уступить и примириться с неудачей. Случай помог ему, сведя с неким Вержи. Это был один из подкупленных авторов тех самых памфлетов. Ему поручили за солидное вознаграждение отравить д’Эона. Но Вержи, хотя и был негодяем, не был убийцей. Он отказался. Его упрятали за решетку как несостоятельного должника. Здесь-то и отыскал его д’Эон и помог освободиться. В знак благодарности тот согласился дать показания, что был подкуплен послом Герши с целью убить д’Эона.
Обстоятельства круто изменились. Из истца Герши превратился в обвиняемого. Ему инкриминировали покушение на убийство. На его беду сбежал посольский буфетчик, всыпавший снотворное в бокал д’Эона. Дело принимало все более скандальный оборот. Общественное мнение было настроено против посла, со дня на день ожидали его ареста. Никто не сомневался, какой вердикт вынесут присяжные. Герши ничего не оставалось, как обратиться к самому королю Англии, чтобы тот своей властью прекратил судебное производство. Георг III внял мольбе, и дело замяли. После чего Герши спешно отозвали, и он навсегда покинул Лондон.
Все эти события не на шутку встревожили Людовика XV, больше всего опасавшегося, что непокорный драгун придаст огласке письма короля, среди которых были и весьма пикантного содержания. Он решил умилостивить бунтаря и назначил ему 12 тысяч ливров ежегодной пенсии «в вознаграждение за услуги, оказанные кавалером д’Эоном как в России, так в армии, и при исполнении других данных ему поручений». Получать эту пенсию он имел право до тех пор, пока ему не предоставят новую должность, с более высоким содержанием. На самом деле такова была плата за согласие д’Эона обменять, а точнее, продать за эту сумму часть писем короля. Кое-что, однако, из переписки он сохранил, надо думать, наиболее компрометирующие Людовика послания.
