Предложение императора об увольнении со службы, которая якобы стала Семену Романовичу «в тягость», равнялось приказу. А поэтому 27 апреля 1800 года он отправил в Петербург прошение об отставке. 22 мая Павел I поставил подпись под рескриптом, в котором говорилось, что генерал от инфантерии граф Воронцов всемилостивейше увольнялся со службы с ношением мундира и с разрешением жить с сыном и дочерью там, где ему заблагорассудится. А через месяц император лишил Михаила Воронцова камергерского звания.
15 июня Семен Романович написал последнее письмо императору. Он остался доволен условиями своей отставки: «Припадая к стопам Вашего Императорского Величества, приношу Вам наинижайшую и глубочайшую мою благодарность»24. Кстати, вскоре и Ф. В. Ростопчин был освобожден императором от должности первоприсутствующего в Коллегии иностранных дел.
После выхода в отставку С. Р. Воронцову предстояло дождаться отзывной грамоты и прощального визита к королю. К августу 1800 года он освободился от всех посольских обязанностей и переехал с сыном и дочерью в Саутхемптон — небольшой рыбачий поселок в 80 милях к юго-западу от Лондона на берегу Ла-Манша.
В письмах к брату в Андреевское Семен Романович подробно рассказывал о своей жизни в Саутхемптоне. Встает он спозаранку. После завтрака гуляет по окрестностям поселка. Хозяин квартиры — книгопродавец. За небольшую плату у него можно брать книги на время. Книги легкого содержания, веселые он и дети читают вместе, а с серьезными сочинениями каждый знакомится в своей комнате. Вечерами музицируют, а иногда играют в карты. «Одним словом, — писал Семен Романович, — мы поживаем как нельзя приятнее, и я никогда не был столь доволен и спокоен, как теперь. Я и думать забыл о политике, что так долго не давала мне покоя, и даже отказался от получения лондонских газет, кроме небольшого каждодневного листка, который Миша или Катинька прочитывают мне за завтраком. Наш образ жизни, пожалуй, покажется однообразным, но в частностях он имеет весьма приятные видоизменения, и все мы спокойны и довольны»25.
Александр Романович предложил прислать брату 40 тысяч рублей. Но Семен Романович ответил, что при значительном уменьшении расходов он не нуждается в этих деньгах. Однако стал подумывать о том, чтобы отдать сына в обучение к моряку-торговцу, а для дочери подыскать место наставницы.
Семен Романович продолжал опасаться, что Павел I прикажет ему возвратиться в Россию. Но из Петербурга пришло иное распоряжение, не менее неприятное. В нем говорилось: «Его Императорское Величество высочайше указать соизволил: за недоплаченные Лондонскими банкирами Пишелем и Брогденом казне принадлежащие деньги 499 фунтов стерлингов, 14 шиллингов и 5 пенсов конфисковать на такую сумму имения генерала графа Воронцова; прочее же его имение за пребывание его в Англии взять в казенный секвестр»26.
