В октябре 1758 года большой пожар уничтожил все кровли, крытые лемехом и тесом. После восстановления появились металлические кровли и главы на церквах.
Создание губерний в 1775 году привело к тому, что митрополия была переведена из Ростова в губернский город Ярославль. Здания кремля остались без присмотра, в некоторых разместились учреждения, другие были заняты под склады, разрушались, приходили в упадок.
В начале XIX века инженер А. А. Бетанкур предложил проект, по которому следовало разобрать все здания кремля и на этом месте выстроить гостиный двор с торговыми рядами, использоваз полученный при разборке кирпич.
Предложение получило одобрение в высших столичных кругах и было с радостью встречено ярославским губернатором и архиепископом, но из-за того, что ведомства не сошлись в цене, а также из-за решительного протеста местных жителей проект Бетанкура не был осуществлен.
Кремль разрушался все более и более и к середине XIX века представлял из себя руины.
Первым забил тревогу о его восстановлении местный житель Петр Васильевич Хлебников. Его поддержал Иван Иванович Хранилов. Но подлинными энтузиастами - организаторами реставрации кремля - в 80-е гг. прошлого века были Андрей Александрович Титов и Иван Александрович Шляков. Они сами внесли значительные средства и привлекли других богатых людей: А. Л. Кекина, братьев Королевых и прочих. При помощи Московского научного археологического общества в короткий срок они подняли кремль из руин. В октябре 1884 года секретарь Исторического общества Е. В, Барсов на открытии Белой палаты, Княжьих теремов и Григорьевской церкви сказал: «В один год и сделать так много и притом на жертвы частных лиц без поддержки государственной казны были в силах только историческое понимание, любовь и энергия. Не забудут ваших трудов и ваших жертв грядущие поколения ростовской земли, когда научатся они понимать самих себя. Не забудет вас русское общество, когда оно вырастет до потребности исторического самопознания. Не забудет вас никогда, никогда историческая наука, потому что она живет и дышит свидетельствами истории, и чем они драгоценнее, тем выше ее благодарность».
Оттого что своевременно приняли меры, Ростовский кремль был спасен от гибели и дожил до нашего времени. С установлением Советской власти все здания кремля и имущество в них были переданы в ведение местного краеведческого музея. Их сохранности в те годы мы обязаны наркому Анатолию Васильевичу Луначарскому. Об этом рассказывал в своих письмах старый большевик В. Д. Мартьянов, в годы становления Советской власти работавший в Ростовском укоме РКП (б) и во время приезда А. В. Луначарского в Ростов сопровождавший его по городу и кремлю. Он писал: «Летом 1920 года Анатолий Васильевич приезжал в Ростов. В те поры на местах много нагрешили в деле охраны старины. Нарком взял это дело под свою защиту. Он приехал в Ростов, осмотрел кремль, с удовольствием прослушал музыку звонов, дал наказ беречь эти памятники. Ему обязан Ростов за сохранность кремля, благодаря ему сохранились ростовские колокола».
