В связи с тем, что присоединенные к России Новороссийский край и Крым были очень малолюдны, по предложению Г. А. Потемкина, одобренному Екатериной II, между Англией и Россией начались переговоры о переселении в Крым английских каторжников. Это предложение возмутило Семена Романовича. Он посчитал заселения русских земель каторжниками недостойным и оскорбительным для великой страны. И благодаря его настойчивости Крым был избавлен от появления там отбросов английского общества.
Недоволен был Семен Романович и засильем иностранцев на русской дипломатической службе в должностях посланников, поверенных в делах и консулов. Он считал, что назначение на эти должности выходцев из чужих стран, принимаемых на службу без всякой осторожности, не согласуется с государственными интересами. Наплыв иностранцев связывали с тем, что среди россиян было очень мало сведущих и образованных. Чтобы таковых стало больше, Семен Романович предложил открыть в Петербурге школу, где бы 25 или 30 бедных дворян обучались русскому и иностранным языкам, а затем на практике в Коллегии иностранных дел готовились к дипломатической службе.
Екатерина II, напуганная революционными событиями во Франции в 1789 и в последующих годах, все более ужесточала внутреннюю политику. После смерти в октябре 1791 года светлейшего князя Г. А. Потемкина-Таврического ее ближайшим помощником стал Платон Зубов. Последний фаворит стареющей императрицы сосредоточил в своих руках огромную власть. Не имея и сотой доли тех достоинств, какими обладал всесильный Потемкин, Зубов спешил превзойти светлейшего князя в обогащении и во вмешательстве в государственные дела. Честным людям служить становилось с каждым годом все труднее и труднее. Многие из них подумывали об отставке. Первым, в конце 1793 года, добился отставки А. Р. Воронцов. С того времени он поселился в Андреевском, родовом имении Воронцовых во Владимирской губернии. В 1794 году ушла в длительный отпуск княгиня Е. Р. Дашкова.
Не оставил Зубов без внимания и Семена Романовича. Он отправлял в Лондон распоряжение за распоряжением, которые, как считал посол, лишь компрометировали русский двор. А поэтому Семен Романович отказывался их исполнять. Тогда Зубов обвинил Воронцова в том, что тот более предан Англии, чем России. Посла стали обходить по службе и «оскорблять презрительными отзывами».
Екатерина II также изменила отношение к своему послу при английском дворе. «В России есть много генерал-губернаторских мест, как, например, вакантное в Москве, где он мог бы быть полезен военной и гражданской службе; однако ж, не к оным влечет его наклонность, а только быть в местах вне государства»6, — заявила она.
