Дворец постепенно разрушался… В 1804 году его начали ремонтировать, но буря сорвала часть кровли здания. Новый хозяин дворца, князь Юсупов, распорядился сломать порталы дворца с белыми колоннами.
В 1835 году дворец хотели достроить, потом пытались приспособить его под казарму, еще позднее — под фабрику. Крыша была снята, изразцы проданы, и весь дворец продавался на слом как «негармоническая смесь вида мрачного».
Покупателей не нашли.
Журнал буржуазного меценатства — «Старые годы» в 1911 году отслужил на своих страницах панихиду дворцу: «И стоят теперь эти остатки былого; поросли мхом красивые каменные спуски карнизов, в окнах торчат забытые кружала, целый лес березок вырос по обломам стен, внутрь войти жутко… всюду заросль, всюду уныние… Шум дачной жизни скорбным эхом разносится в пустом, открытом зале «оперного дома»… Грустная грядущая смерть этим остаткам»…
Но панихида оказалась преждевременной.
Дворянско-купеческая Россия не умела ценить памятников старины. Сотни прекрасных памятников русского зодчества были искажены бездарной реставрацией, погублены купеческими управами, которые были хозяевами городов.
Теперь, по сталинскому плану реконструкции Москвы, Ленино (б. Царицыно) включается в парковую зону столицы. Реставрация царицынских дворцов приостановит дальнейшее разрушение этого живописного памятника русского зодчества и позволит ему послужить на пользу трудящихся. Поставлен вопрос и о восстановлении всего ансамбля дворца.
Защитить Баженова было некому. Павел — бессилен; дружески расположенный к архитектору, когда-то всемогущий Орлов умер за границей, отравленный Потемкиным, как передавала молва. Баженову вспомнили его гордость, нежелание поклоняться сильным мира сего.
Крупнейший богач и меценат Демидов жаловался в письме:
— Баженов анбиционен, хорош, да чорта в нем, — целуй, лижи, улаживай, как в бане пар…
Рассказывали, что незадолго до осмотра царицынских дворцов Екатерина, ознакомившись с новым зданием сената, сказала строителю его Казакову:
— Как хорошо! Какое искусство! Ты подарил меня удовольствием.
Баженов более Екатерины радовался архитектурной, удаче Казакова. Правда, в этом здании Казаков показал всю силу своего таланта (Баженов помог ему овладеть формами классической архитектуры). Правда и, то, что после беседы с Екатериной принц де Линь сказал в своем кругу.
— Императрица в архитектуре ничего не смыслит…
Московское общество осудило и отвернулось от Баженова.
