После смерти князя Н.Б. Юсупова эти здания продаются в 1836 г. для Работного дома, учреждения, цель которого заключалась в призрении взрослых людей обоего пола, принадлежавших преимущественно к «низшим сословиям», а попросту в искоренении нищенства. Работный дом просуществовал до установления советской власти, после него здесь поместились Харитоньевские учебно-производственные мастерские и различные учреждения.
На том месте, где был Юсуповский сад, в 1895–1896 гг. архитектором И.П. Машковым на частные пожертвования построено двухэтажное здание (№ 24) Городского дома трудолюбия имени М.А. и С.Н. Горбовых, где занимались шитьем «приходящие женщины, неимущие и нуждающиеся в заработке, но имеющие свои квартиры».
До 1912 г. на месте громоздкого доходного дома по Большому Харитоньевскому переулку (№ 14, архитектор И.Г. Кондратенко) стоял скромный деревянный домик с мезонином в три окна, который приобрел чиновник Московской управы благочиния титулярный советник А.И. Федотов. Его сын Павел, известный художник, провел здесь детство. Он писал, что «сила детских впечатлений, запас наблюдения, сделанных мною при самом начале моей жизни, составляют, если будет позволено так выразиться, основной фонд моего дарования». Москвич по рождению и воспитанию, П.А. Федотов утверждал, что «все, что вы видите на моих картинах (кроме офицеров, гвардейских солдат и нарядных дам), было видено и даже отчасти обсуждено во время моего детства: это я заключаю как по воспоминаниям, так и потому, что, набрасывая большую часть моих вещей, я почему-то представлял место действия непременно в Москве».
Рядом с небольшим домиком Федотовых в начале XIX в. находилась обширная усадьба (№ 12) статской советницы Е.П. Херасковой со старинными палатами в центре и большим прудом. В конце XIX в. в одном из несохранившихся зданий жил М.А. Врубель, который работал здесь над иллюстрациями к стихотворениям М.Ю. Лермонтова. В 1911 г. почти все строения в усадьбе ломают и по проекту Г.А. Гельриха ее начинают застраивать доходными домами. В трехэтажном доме № 12а жила семья Кренкель, переехавшая сюда в 1915 г. из переулка Добрая слободка; а в 1927 г. появляется дом жилкооператива «Научные работники». Здесь с 1927 по 1953 г. жил академик Е.А. Чудаков, один из создателей советской автомобильной промышленности. Ранее, в 1921–1927 гг., он жил в соседнем доме (№ 10), где тогда находилась Московская комиссия улучшения быта ученых, предоставившая ему две большие комнаты в бывшем особняке текстильного фабриканта Н.Ф. Грибова, построенном в 1900 г.
