Высылая Аркадия Ивановича из столицы, император Павел, вопреки своему обычаю — не мстить близким людям своей матери — отнёсся не в пример сурово к нему, запретив даже г-же Гюсс следовать за своим возлюбленным, приказав объявить ей, что «она находится на службе императорского двора, а не графа Маркова».
Проживая в Каменце, Аркадий Иванович сделался объектом преследования и злобы со стороны польских помещиков, которые считали его виновником гибели Польши. Граф Гудович, бывший в это время подольским губернатором, также будучи польского происхождения, обходился с ним весьма обидно и при всех столкновениях графа с поляками принимал неизменно сторону последних. В своих записках граф Комаровский, бывший адъютант великого князя, говорит, что по приезде великого князя в Каменец граф Аркадий Иванович обратился к нему с просьбой аудиенции у Константина Павловича. «Спасите меня, любезный генерал, вы знаете, как поступают со мной здесь поляки, и если великий князь обойдётся со мной немилостиво, то я пропаду».
На просьбу Комаровского к цесаревичу принять графа Маркова Константин Павлович ответил: «Как ты хочешь, чтобы я его принял? Он у государя под гневом». Кончилось это тем, что великий князь принял Аркадия Ивановича в отдельной аудиенции, что произвело нужное впечатление на Гудовича и его соотечественников, которые оставили после этого опального дипломата в покое.
После смерти в 1801 году императора Павла Александр Павлович немедленно вызвал графа Маркова в Петербург, снова принял его на службу с чином действительного тайного советника и в том же году назначил полномочным послом в Париж ко двору первого консула. Убеждённый легитимист, Аркадий Иванович, ещё в бытность свою в первый раз во Франции, сошёлся с представителями французской аристократии и целиком усвоил себе взгляды Сен-Жерменского предместья на новый порядок вещей, установившийся во Франции после революции. Приблизительно тот же взгляд разделялся и петербургскими салонами.
Считая, согласно этим понятиям, Бонапарта узурпатором, посол императора Александра один из всех дипломатов умел держать в респекте пылкого и дерзкого первого консула, который вскоре почувствовал к Аркадию Ивановичу настоящую вражду, что побудило Бонапарта сказать крылатую фразу о том, что «он желал бы иметь в Париже такого же благосклонного к французам русского посланника, каким для англичан является в Лондоне граф С.Р. Воронцов».
Из многочисленных столкновений между первым консулом и Аркадием Ивановичем упомяну об эпизоде с носовым платком, который как бы нечаянно уронил Наполеон перед графом с тем, чтобы гордый русский посланник из дипломатической вежливости его поднял. Вместо этого граф Марков немедленно уронил свой собственный платок и поднял его, сделав вид, что не заметил платка первого консула.
