И на территории бывших владений боярина Лопухина в 1708 году по указу Петра I строится первая казённая полотняная фабрика (примерно на месте домов №№16—22 современного Комсомольского проспекта). Но фабрика прибыль не давала, и спустя 10 лет Пётр решает передать её известному мануфактурщику того времени Ивану Тамесу и одновременно жалует ему бывшие палаты Лопухина, которые Тамес перестраивает в 1770-х годах (Комсомольский пр-т, 13).
Фабрика Тамеса процветала и долгие годы была крупнейшим предприятием этой отрасли в Москве. Выпускались почти все сорта полотна от грубого до самого тонкого, ткани для скатертей и салфеток, ткани для камзолов, цветные носовые платки и много другое.
Но в конце XVIII века после смерти Тамеса фабрика разорилась, и наследники продают её другим владельцам. Постепенно перестаёт существовать Хамовная слобода: жители её переселяются в другие места в поисках лучшей жизни.
Наступает XIX век.
В 1802 году в конец разорившаяся фабрика стала принадлежать государству. К этому времени мануфактурное производство было неактуально, и на месте фабрики в 1807 году разворачивается в несколько этапов строительство казарменного комплекса для гусарских полков (по проекту Л. И. Руска, под руководством М. М. Казакова и И. Т. Таманского).
Сначала построили три казарменных строения (Комсомольский пр-т, 18—22) и хозпостройку (Комсомольский пр., 24, была снесена в 2000-е годы, и возведён «новодел»). Перед казармами разбили плац для строевых учений, за ним напротив казарм в 1808 году была поставлена гауптвахта (Комсомольский пр-т, 19а) – караульный дом, для размещения караула.
В состав комплекса вошёл и бывший дом Тамеса (Комсомольский пр-т, 13, ещё раз дом перестраивает архитектор П. И. Гейден, и в таком виде он доходит до наших дней). В нём поселяется высший состав офицеров и шеф полка. И с этих пор дом стал называться «Шефским домом». В 1817 году здесь в гостях у полковника А. Н. Муравьёва тайно собирались будущие декабристы И. Д. Якушкин, М. А. Фонвизин, С. И. и М. И. Муравьёвы-Апостолы, М. С. Лунин, Ф. П. Шаховской и другие. На одном из совещаний Якушкин предложил убить императора Александра I, но его товарищи после обсуждения отвергли столь крайнюю меру.
Рядом с гауптвахтой в 1820 -1830 годах были построены манеж, конюшни и кавалерийская казарма (сохранился манеж, Комсомольский пр-т, 17а, фасад и центральная колоннада выполнены в 1950-х годах). Наиболее ярким этапом истории манежа стали послевоенные годы, именно здесь Г. К. Жуков готовился к славному Параду Победы 1945 года. Отсюда вплоть до 1953 года лучшие лошади страны, отобранные лично С. М. Будённым, отправлялись на Красную площадь, чтобы верхом на них принимали и открывали парад К. К. Рокоссовский, К. Е. Ворошилов, С. К. Тимошенко.
