В Андреевское Михаил Семенович приехал в марте 1805 года. Он был удивлен увиденным. Стараниями его деда Р. И. Воронцова и дяди Александра Романовича Андреевское обогатилось пятиглавой церковью Андрея Первозванного, просторным господским домом и другими добротными постройками. Господский дом правильнее было бы назвать замком. Как в настоящем замке, у дома был внутренний двор, а над въездными воротами возвышалась высокая башня со шпилем и флюгером.
Общение с Александром Романовичем лишний раз убедило Михаила Семеновича в том, что его второй отец был замечательным человеком. Многое можно было узнать от него и многому поучиться.
Во-первых, Александр Романович был необычным помещиком. Он открыто выступал против крепостного права и принадлежавших ему крестьян называл своими подданными. Он считал себя обязанным заботиться о них — защищал от произвола чиновников, приходил на помощь в голодные годы и во время стихийных бедствий. Его крестьяне не отбывали барщину, а платили необременительный оброк, а поэтому жили лучше, чем крестьяне соседних имений.
Александр Романович был весьма рачительным хозяином. Поражает, например, размах его деятельности в развитии садоводства. В описи оранжерейных «деревов» в Андреевском значилось персиковых деревьев 576, абрикосовых 52, сливовых 310, вишенных 397, грушевых 341, яблоневых 124, лимонных 290, лавровых 197, а также 48 кустов винограда и 1000 кустов ананасов. Ананасов и лимонов собирали столько, что Александр Романович посылал их в подарок друзьям в Москву и Петербург и много отправлял в соседние города на продажу.
Андреевское было известно во Владимирской и других губерниях не только образцовым хозяйством, но и театром. В нем играли крепостные крестьяне. Их нельзя было подвергать телесным наказаниям, за игру в театре они получали жалованье и наградные.
В то время многие вельможи увлекались коллекционированием картин и скульптур. Александр Романович также тратил немало денег на приобретение произведений искусства. Но и в собирательстве проявилась его патриотическая жилка. Он решил собрать и сохранить для потомства портреты знатных россиян — представителей царствующего дома и видных российских деятелей. К приезду Михаила Семеновича в Андреевское в коллекции было уже около трехсот портретов, в том числе изображения российских государей Ивана Грозного, Петра I, Елизаветы Петровны, Екатерины II, портреты «знаменитых особ российских» Голицына, Шереметева, Потемкина, Бестужева, Безбородко, Завадовского, Воронцовых, портреты военных — Румянцева, Суворова, Чичагова, Орлова, деятелей науки и искусства — Ломоносова, Сумарокова, Державина, Татищева, Волкова.
