Невдалеке, на прицерковном кладбище, до 1820 года стоял памятник в виде избы с высокой тесовой крышей над захоронениями боярина Матвеева, жены его, сына, невестки и двух слуг. В начале 1820-х годов надгробие это праправнук А. С. Матвеева граф Н. П. Румянцев заменил на новое, в виде саркофага с двумя портиками и колоннами, который и простоял до 1930-х годов.
В середине XVIII века в Столповском переулке поселилась богатая армянская семья Лазаревых, представитель второго поколения которой Иван Лазаревич Лазарев даже вошел в круг государственных сановников, решавших при Екатерине II ключевые вопросы российской политики. При активном содействии этой высококультурной семьи в переулке в 1779 году была сооружена армянская Крестовоздвижеиская церковь, а сам переулок стал называться Армянским.
Одними из первых домовладельцев интересующей нас усадьбы под № 11 в Армянском переулке по предположениям были Милославские. Потом среди владельцев дома мы находим наследников князя Дмитрия Андреевича Волконского, племянника и сподвижника известного боярина Ф. Ф. Волконского, воеводы царя Алексея Михайловича. Владел домом и Матвей Васильевич Дмитриев-Мамонов, один из важных сенаторов екатерининского времени. Это его внук Матвей Александрович Дмитриев-Мамонов прославился по Москве тем, что в самом начале Отечественной войны 1812 года на свои деньги экипировал целый полк, вооружил и повел его на борьбу с неприятелем.
Затем дом перешел к известной в Москве богатой семье Глебовых.
Наконец, в марте 1790 года этот особняк у жены коллежского асессора Николая Алексеевича Глебова Марфы Григорьевны был куплен женой капитана 2-го ранга князя Ивана Сергеевича Гагарина Марьей Алексеевной.
Забор в забор с приобретенной Гагариной усадьбой, занимая часть некогда бывшего владения Матвеевых, находилась усадьба действительного статского советника Ивана Лазаревича Лазарева. А по другую сторону, ближе к Покровке, находился двор тайного советника, сенатора и кавалера разных орденов Федора Ивановича Левашева. Прямо напротив гагаринской усадьбы в 1793 году у полковника Хлебникова знаменитый полководец, фельдмаршал граф П. А. Румянцев-Задунайский приобрел большой трехэтажный каменный дом, стоявший на углу Армянского переулка и Маросейки. Он велел его переделать на современный манер, расписать внутренние стены особняка картинами сражений, в которых сам участвовал.
Определенная известным знатоком прошлого Москвы С. К. Романюком дата покупки Гагариными дома (1790) позволяет нам довольно точно определить и время начала перестройки старого строения (начало последнего десятилетия XVIII века), которую затеял не хотевший ударить в грязь лицом перед соседями состоятельный князь. Для этого он привлек хорошо известного в Москве талантливого архитектора Матвея Федоровича Казакова.
