Тогда же генерал-губернатор Новороссии решил объехать все три вверенные ему губернии, чтобы осмотреть различные поселения, уладить гражданские дела и проинспектировать войска, число которых доходило до сорока тысяч человек, включая казаков. Компанию ему составили Леон де Рошешуар и Иван Александрович Стемпковский, назначенный третьим адъютантом. (Стемпковскому тогда только-только исполнилось 19 лет; он окончил Саратовское народное училище и в 1804 году пятнадцатилетним поступил подпрапорщиком в Ладожский пехотный полк, где благодаря своим способностям обратил на себя внимание герцога де Ришельё. Тот предложил ему стать его адъютантом, а затем сделал личным секретарем.)
Взяв с собой свой штаб и нескольких гражданских чиновников, Дюк, несмотря на недолеченный плеврит, выехал из Одессы в Херсон, а оттуда в Мелитополь, где навестил графа де Мезона и осмотрел ногайские села. Затем татарских лошадок, мчавшихся резвым галопом, сменили мекленбуржцы, впряженные в тяжелые повозки: Ришельё проехал вверх по течению Молочной, посетил немецкие колонии на правом берегу и русские поселения. После он достиг Мариуполя, где жили греки, и проследовал в Таганрог, второй по величине после Одессы торговый порт Новороссии. (В 1808 году экспорт из Таганрога составил 1,3 миллиона пудов разных товаров.) Дальше его путь лежал в Нахичевань на правом берегу Дона, построенную в 1780 году для крымских армян, и в Азов.
В 1787 году из частей Войска верных запорожцев было создано Черноморское казачье войско, которое пять лет спустя переселили на Кубань для защиты южных рубежей от нападения адыгов. Получив в свое распоряжение территорию в 30 тысяч квадратных верст, казаки — 7860 мужчин и 6514 женщин — основали в 1793 году город Екатеринодар и 40 куреней. В 1801-м на войсковой земле жили уже 32 609 душ обоего пола, а в 1808-м к черноморцам переселились 500 буджакских казаков (бывших запорожцев, вернувшихся из Турции, куда они ушли после разорения Сечи). Формально войско подчинялось таврическому губернатору, но реальным начальством был войсковой совет из наказного атамана, судьи, писаря, двоих русских офицеров и четверых казаков; последних избирали каждый год.
С конца 1799 года атаманом был Федор Яковлевич Бурсак, личность незаурядная. Он родился в 1750 году в дворянской семье Антоновичей, обучался в Киево-Могилянской духовной академии, за что и получил, сбежав оттуда в Запорожскую Сечь, свое прозвище. Он участвовал рядовым в Русско-турецких войнах 1768–1774 и 1787–1891 годов, заслужив храбростью офицерский чин. Записавшись одним из первых в Войско верных казаков, он отличился при штурме Очакова, Гаджибея и Измаила, за что Суворов представил его к награде. Избранный войсковым казначеем (что говорит о высоком к нему доверии), а затем назначенный атаманом, он замирился с несколькими племенами горцев, открыл меновые дворы, а также первое на Кубани войсковое училище в Екатеринодаре (1803), при котором имелась библиотека. Казаки достроили деревянный войсковой собор, вокруг которого в кирпичных флигелях жили холостяки из всех сорока куреней. В окрестностях Екатеринодара появились конезавод и овчарня, а также суконная мануфактура.
