Один из следующих владельцев — князь Петр Яковлевич Голицын — существенно перестроил здания на усадьбе в период между 1748 и 1753 гг., и внешний облик существующего главного дома был восстановлен именно на это время.
Около 1770-х гг. (и до 1809 г.) владельцами стали князья Урусовы, старинная фамилия, происходившая от ногайских ханов, вместе с другими княжескими родами — Кутумовыми, Шейдяковыми, Юсуповыми.
Один из Урусовых, князь Александр Александрович, славился своими коллекциями монет и медалей, минералов, мозаик. Как писал историк Московского университета, «сей любитель наук, распростирая благотворительность свою, подарил Московский Университет своим пространным кабинетом минеральным и мозаическими картинами».
В 1825 г. усадьбу купил А.А. Арсеньев, из старинной дворянской семьи, также происходившей от татар, предпринявший несколько перестроек. Сын его оставил воспоминания о жизни в этом доме, в которых он рассказывает о посещениях А.С. Пушкина, И.И. Дмитриева, Н.И. Надеждина, М.И. Глинки и многих других известных деятелей культуры.
Один из первых исследователей, написавших об этом доме, Юрий Александрович Федосюк назвал его «домом трех композиторов». Кроме Глинки, здесь не только бывали, но и подолгу жили Чайковский и Дебюсси. Меценатка Надежда Филаретовна фон Мекк, щедро помогавшая Чайковскому, ютившемуся по гостиницам, родственникам и друзьям, приглашала его пожить в доме. Он согласился и сообщал в письме: «…я очень быстро очутился в своем симпатичном, уютном помещении внизу в Вашем доме… Мне в высшей степени понравилось это помещение, и я сразу полюбил его, особенно мою угловую комнату, в коей сплю и пишу в настоящую минуту письмо это». Чайковский еще несколько раз останавливался в доме на Мясницкой.
Клод Дебюсси жил здесь в 1880 и 1881 гг. как учитель детей Надежды Филаретовны.
В 1895–1910 гг. домом владел богатый елабужский купец Н.Д. Стахеев, ставший перестраивать интерьеры по проекту «своего» архитектора М.Ф. Бугровского — он выстроил ему великолепный особняк на Новой Басманной (№ 14), большую гостиницу в Большом Златоустинском переулке (№ 6) и другие дома.
В советское время тут поместились разные конторы — Высшие юридические курсы, отделы райсовета, квартиры. Теперь же дом отреставрирован.
В Малом Харитоньевском переулке — здание (№ 4), резко выделяющееся из окружающей застройки: высокое, с приземистым, обработанным крупным гранитным рустом, прорезанным арками первым этажом, образующим как бы пьедестал для фасада с элементами английской готики. Это дом Московского политехнического общества при Высшем техническом училище, основанного его выпускниками для распространения в России технических знаний. В 1904 г. был объявлен конкурс на проект дома общества. На конкурсе первую премию получил архитектор А.Б. Минкус, а вторую — автор здания гостиницы «Метрополь», известный тогда архитектор Вильям Валькот. Однако составление окончательного проекта было поручено инженеру А.В. Кузнецову, использовавшему некоторые идеи проекта В. Валькота.
