Из-за трений с Г. А. Потемкиным и из-за интриг некоторых высокопоставленных военных чинов Семен Романович решил снова проситься в отставку. Имелся и благовидный предлог — «воспаление в груди». Екатерина II, сделав несколько попыток уговорить строптивца остаться на службе, подписала необходимый указ.
По словам Семена Романовича, ни он, ни его брат не обогатились на службе, а напротив, должны были добавлять к должностному окладу собственные средства. Семен Романович тратил немало своих денег на нужды полка, и, чтобы сводить концы с концами, ему нередко приходилось входить в долги.
Выйдя в отставку, Семен Романович решил поехать в Италию для восстановления здоровья. Но денег на поездку не было. Поэтому он вынужден был заложить свой петербургский дом и продать ценные вещи.
Из Италии Семен Романович возвратился в 1778 году. В том же году Р. И. Воронцов, его отец, был назначен наместником во Владимирскую губернию. В подчинении у Романа Илларионовича оказались также Пензенская и Тамбовская губернии. А в дальнейшем вместо Пензенской и Тамбовской губерний ему была подчинена Костромская губерния.
11 ноября 1775 года Екатерина II подписала важнейший закон — «Учреждения для управления Губерний Всероссийской Империи». В этом законе, в частности, определялись права и обязанности вводимых в стране новых должностных лиц — наместников или генерал-губернаторов: «Должность Государева Наместника, или Генерал-Губернатора, есть следующая: строгое и точное взыскание чинить со всех ему подчиненных мест <…> и людей о исполнении законов и определенного их звания и должностей, но без суда да не накажет никого; преступников законов и должностей да отошлет, куда по узаконении следует, для суда; ибо Государев Наместник не есть судья, но сберегатель Императорского Величества изданного узаконения, ходатай за пользу общую и Государеву, заступник утесненных и побудитель безгласных дел. Словом сказать, нося имя Государева Наместника, должен он показать в поступках своих доброхотство, любовь и соболезнование народу». Далее отмечается, что от генерал-губернатора зависит благоустройство в наместничестве, что он должен «пресекать всякого рода злоупотребления, а наипаче роскошь безмерную и разорительную, обуздывать излишества, беспутства, мотовство, тиранство и жестокости» и «вступаться за всякого, кого по делам волочат», а также предупреждать «всякий недостаток в нужных для жителей припасах, как то в хлебе, в соли и проч.»8.
