События 1812 года стоили селу и поместью многих потерь. В то время как на первой почтовой станции по Петербургской дороге располагался итальянский отряд, во Всесвятском была расквартирована легкая кавалерия под командованием генерала Орнано. Но Е.А. Грузинский достаточно быстро справился со следами грабежей, пожаров и разрушений. Восстановленный сад снова открылся для публичных посещений. Его популярности в немалой степени способствовали появившиеся на аллеях своеобразные статуи солдат в различной амуниции, устроенные на пруду катания на гондолах и выступления в «воздушном театре» многочисленных цыганских хоров. В Серебряном бору происходили такие же разъезды экипажей, как и в Марьиной роще.
Популярность Всесвятского была тем большей, что здесь в 1820 году открывается станция дилижансов. К тому же появление модного московского гуляния в Петровско-Разумовском относилось к более позднему времени: парк и пруды появились здесь только к 1827 году. Но и оставленное великосветскими посетителями, Всесвятское сохранило свое значение любимого места гуляний простого народа.
Недовольный многолюдством и все большим оживлением движения, которые принесла с собой прокладка в 1830-х годах Петербургского (ныне Ленинградского) шоссе, Е.А. Грузинский предпочел переселиться в свое нижегородское имение Лысково, забросив всякие заботы о подмосковной. Не представляло оно интереса и для его единственной дочери и наследницы графини А.Е. Толстой. Трудно сказать, сколько правды в сохранившемся предании, будто привозила она в отцовские владения жившего в ее доме на Никитском (ранее Суворовском) бульваре Н.В. Гоголя. А.Е. Толстая-Грузинская вышла замуж за А.П. Толстого, подчинив мужа мистическим увлечениям. После смерти отца она не замедлила расстаться со своей частью Всесвятского, продав его ротмистру Г.А. Рукину. К этому времени забота о поддержании народных гуляний перешла к владельцам другой части Всесвятского – семье бывшего молдавского господаря Маврокордато, получившего это владение в 1816 году.
Дальнейшая судьба Всесвятского определялась промышленным развитием города. Рост цен на землю, вызванный близостью Москвы и особенно располагавшихся на соседнем, Ходынском поле летних военных лагерей – Всесвятское становится излюбленным дачным местом офицерских семей, – проведение в 1851 году железной дороги приводит к спекуляции земельными участками. К концу XIX века оба дворца грузинских царей, оранжереи и надворные постройки были снесены для того, чтобы на этом месте начать строительство дач, тем более популярных среди москвичей, что в 1899 году к ним подводится линия городского трамвая. Расчищенное старое грузинское кладбище было отдано под захоронения местных крестьян.
