Первоначальная церковь была скромной: не раз горела она вместе с деревянной Москвой, сильно пострадала в Смутное время, да и французы ее изрядно пограбили. Однако народ всякий день толпился перед чудотворным образом — приносил монетки, ставил свечки, подолгу молился, и празднование Боголюбивой иконе Божией Матери в Москве совершалось особенно торжественно и продолжалось три дня.
Накануне праздника, 17 июня, благочестивые богомольцы и паломники с двух часов дня сплошными рядами занимали огромную площадь перед Варварскими воротами. К этому времени причт и церковный староста из приходской церкви во имя Всех Святых уже готовились вынимать чудотворный образ из киота, а хор певчих, расположившись с правой стороны от Варварских ворот, пел канон Пресвятой Богородице: "О, Царице Небесная! Пресвятая Богородице, помилуй нас! Пресвятая Богородице, спаси нас!". В эти торжественные минуты всеобщей молитвы икону вынимали из киота и начинали тихонько спускать со стены на специально приготовленный для этого случая помост. Народ в благоговении падал на колени и с умилением и слезами молился Заступнице Усердной, и такие торжественные молебны перед иконой беспрерывно продолжались три дня. После этого икона таким же порядком водворялась на свое место.
Особенно стали почитать москвичи список Боголюбской иконы Божией Матери после того, как во время моровой язвы от нее являлась помощь Божия. Но в это же время, осенью 1771 года, Боголюбская икона Пресвятой Богородицы и Всехсвятская церковь сделались участниками жестокой исторической драмы.
Дворяне, спасаясь от смертоносной заразы, уезжали в свои подмосковные имения; по городу бродили шайки лихих людей, которые грабили опустевшие дома и тащили все подряд — часто и зараженные вещи, так что сами становились жертвами страшного мора. За день умирало по тысяче человек; в разных местах города горели костры, в которых жгли вещи умерших. Колодники в черных масках и шляпах собирали на улицах трупы, во всех церквах тоскливо звонили погребальные колокола… Многие молились в храмах, но были и такие, кто целыми часами пропадал в кабаках.
Однажды во время богослужения священник церкви Всех Святых неосторожно рассказал пастве о сне одного фабричного рабочего, которому во сне будто бы явилась Пресвятая Богородица. Она объяснила несчастье тем, что москвичи недостаточно почитают Ее Боголюбивый образ, и Сын Божий решил побить Москву каменным дождем. Но Она упросила Его смягчить наказание, и горожанам был послан страшный трехмесячный мор.
