Дворец разобрали. Для работы по изготовлению модели нужного количества отечественных мастеров не нашлось. Привлекли иностранцев: машинного мастера Иоганна Шуля, столярного — Андрея Витмана, кирпичного — Вильма Гильденбрехта, скульптора — Иоганна Юста и других.
Были посланы разведки на берега Оки и Остеры за строительным камнем. Казаков поехал в Серпуховский уезд искать мрамор, из Сибири затребовали «известия о мраморе больших мер».
Интриги вокруг строительства дворца усиливались. Многие не верили, что Баженов справится с такой задачей; иностранные архитекторы в Петербурге считали себя обойденными — их даже не привлекли к обсуждению такого огромного проекта. Баженова томила неопределенность: кто знает, что взбредет на ум непостоянной и капризной Екатерине, которая, как передавали шопотом, теперь переживает очередной «медовый месяц» с новым фаворитом…
Находились скептики, которые прямо говорили:
— Вся эта затея — пустая. Императрица хочет показать, сколь богата держава, и дело дальше представления с фейерверком не пойдет…
Баженову такие предположения казались дикими.
Когда генерал Измайлов получил приказ Екатерины: «начинать разбирать старые в Кремле строения, как в плане обозначено», Баженов ожил.
Для будущего Кремлевского дворца очищалось место. Сносились старые, обветшалые строения. Была разобрана городовая стена от церкви Благовещения до церкви Петра-митрополита. На горе разобрали длинный кopпус старинных приказов, тянувшихся от Архангельского собора к Спасским воротам. Снесли здание дворцового запасного двора, палаты князей Трубецких, Дворы соборного духовенства, церковь Косьмы и Дамиана и ряд других строений, облеплявших Кремль… Державин, тогда еще молодой поэт, посвятил этому событию специальное стихотворение: «На случай разлома Московского Кремля для построения нового дворца в 1770 году архитектором Баженовым при отъезде автора из Москвы в Петербург»:
Прости, престольний град, великолепно зданье
Чудесной древности, Москва, России блистанье!
Сияющие верхи и горда вышина,
На диво в давний век вы были созданы:
В последни зрю я вас, покровы оком мерю
И в ужасе тому дивлюсь, сомнюсь, не верю
Возможно ли гробам разрушаться, восстать
И в прежней красоте нуднее процветать?
Твердыням таковым коль пасть и восстановляться,
То должно, так сказать, природе пременяться!
Но что не сбудется, где хощет божество:
Баженов! начинай, уступит естество!
Во время земляных работ для Большого дворца была вскрыта многовековая плесень погребов и подвалов — смрадный воздух окружал Кремль. Жалобы москвичей дошли до Екатерины. Пугаясь рвения Баженова, она указала Измайлову: «Если увидите, что рытье фундамента под Кремлевским дворцом в нынешней осенней поре воздух портит, то прикажите до зимы остановить».
