На рубеже XVIII-XIX в.в. вместо деревянного дома был возведен большой трехэтажный каменный дом - «образец раннего классицизма», по выражению искусствоведа начала XX в. Г.К. Лукомского.
Вероятно, в начале 1910-х гг. он лично побывал в усадьбе, что позволило ему рассказать об архитектурных особенностях Токаревского дома на страницах журнала «Столица и усадьба» за 1914 г.: «Портик его не лишен курьезности форм. Хороши колонны, фриз, покоящийся на арочках, и арочки, украшенные кэссонами. Красивы скульптурные вставки в квадраты и в круглые медальоны между окнами первого и второго этажей и по бокам окон крыльев: эти окна очень красивы, они украшены парными пилястрами. Удлиненные пропорции окон ...С одной стороны дома портик опирается на своды, с другой (в сад) в портику пристроена позднейшая по обработке лестница. В архитектуре дома много величественности и все детали его крайне любопытны» {Г.К.Лукомский. Смоленские усадьбы // Столица и усадьба. - 1914, №9.}.
В историю Отечественной войны 1812 г. Токарево вошло как место первых схваток партизанского отряда Дениса Давыдова с французами. В конце 1812 г. отряд достиг с. Скугорево, расположенного южнее Токарево. Укрытое со всех сторон лесами и находящееся на возвышенности, что позволяло обозревать окрестности на 5-7 км, оно стало лагерем партизан. Первый бой отряда произошел 14 сентября. Вот как описывают его современные историки: «Французские мародеры обобрали крестьян, нагрузили пожитками большой обоз и легли спать, выставив лишь небольшую охрану. Незаметно приблизившись, партизаны сняли часовых и вошли в село. 90 вражеских солдат сдались в плен, а оказавшие сопротивление были уничтожены. Вскоре сторожевые пикеты донесли о приближении к Токарево новой неприятельской команды. Д. Давыдов приказал партизанам сесть на коней и укрыться за строениями. Французы шли по улице колонной. Дойдя до середины села, они остановились, огляделись, поставили ружья. В это время на них и налетели конники Давыдова. Через несколько минут у плетней и заборов лежали десятки неприятельских трупов. Толпа пленных, увеличившаяся до 160 человек, стояла на выгоне у церкви» {Город Гагарин: Очерки истории города Гагарина и Гагаринского района. - Смоленск, 1984. - с.13-14.}. В память об этих событиях на конторе госплемзавода установлена мемориальная доска. Местная легенда гласит, что поверженные в схватке с партизанами французы были захоронены рядом с д. Полянка, располагавшейся в нескольких километрах от Токарево.
