В 1804 году в Скугорево насчитывалось 59 дворов, 434 крестьянина, винокуренный завод с производством свыше 1500 ведер водки. Крестьян перевели с оброка на барщину, помимо работы на господской земле, они работали поочередно на винокуренном заводе. В 1812 г. сельцо Скугорево вошло в историю как первая ставка партизана-поэта подполковника Ахтырского гусарского полка Дениса Васильевича Давыдова. В « Записках партизана» Д.В. Давыдов писал: «Я вступил в село Скугорево. Село Скугорево расположено на высоте господствующей над всеми окрестностями, так что в ясный день можно обозревать с неё на 7 или 8 верст пространства. Высота сия прилегает к лесу, простирающему почти до Медыни. Посредством сего леса партия моя могла скрывать свое движение и в случае поражения иметь в нем убежище. В Скутореве я избрал первый притон».
Во время реформы 1861 года имение перешло к сыну Петру Степановичу Воейкову, который имел 448 десятин земли и 116 крестьян. В первое десятилетие реформы население сократилось до 78 дворов с 298 десятинами земли.
Последний владелец усадьбы из рода Воейковых - отставной подпоручик Петр Степанович Воейков неоднократно избирался гжатским уездным предводителем дворянства ( в 1868-1885 гг.). 20 октября 1871 года ему было присвоено звание Почетного гражданина г. Гжатска за то, что он «пожертвовал деньги на устройство временного моста через реку Гжать». Не имея прямых наследников, он завещал свое имение дальней родственнице из семьи генерала Демерчикова. В последующем положение населения в деревне ухудшалось: 11 крестьянских дворов имели лошадь, 22 - безлошадных двора, 20 дворов не имели ни лошадей, ни коров. Видя такое положение в деревне Демерчикова продала имение в 1891 году за 60 тыс. руб. адвокату Дерюжинскому, а последний перепродал в 1894 году за 90 тыс. рублей министру юстиции, статс-секретарю Н.В. Муравьеву (1851-1908 г.г.). При нем имение приобрело вторую жизнь, став одним из культурных гнезд Смоленщины, « самым крупным имением с лучше других поставленным в хозяйственном отношении».
Николай Валерьянович Муравьев решил создать образцовое хозяйство по всем правилам тогдашней зоо-агрономической науки и помочь окрестным крестьянам правильно организовать эту работу на своих подворьях. Он столкнулся с равнодушием и непониманием со стороны местного населения из-за его почти поголовной неграмотности и невежества. С ликвидации этих недостатков он начал свою деятельность. Его помощником стал адвокат присяжный поверенный Плевако Ф.Н.
