Столовая, имевшая двустороннее освещение благодаря шести окнам и разделявшаяся на две части отдельно стоявшими колоннами, при необходимости могла быстро превращаться в танцевальный зал. Отапливалась она двумя большими печами, уступами выходившими на середину помещения. Выход на балкон через стеклянные двери в центре подчеркивал внушительные размеры зала и придавал ему дополнительную парадность. Стены были красиво декорированы спаренными пилястрами коринфского ордера. Внушительными, торжественными были и парадные двери.
Расположенная с левой стороны столовой потайная дверь открывалась в сервировочную и вела на небольшую лестницу внутри дома, по которой можно было спуститься на первый этаж.
Массивная дверь вела в следующую комнату — каминную, с двумя угловыми печами. Дверь из нее выходила на большой балкон, тянувшийся вдоль всего главного фасада и державшийся на колоннах коринфского ордера. Откосы окон каминной комнаты и стоящий посередине камин были отделаны искусственным мрамором.
Далее шла спальня с альковом, скрытым за колоннами и имевшим выход в другие помещения. Вся анфилада комнат завершалась кабинетом хозяина дома, из которого был выход на небольшую лестницу, ведшую на третий этаж в библиотеку.
Со стороны столовой на третий этаж также вела парадная лестница, приводящая в угловую проходную комнату, из которой раскрывалась анфилада помещений третьего этажа вдоль всего главного фасада. Параллельно ей из той же проходной комнаты шла анфилада помещений уже с окнами на задний двор. Все комнаты были довольно скромного архитектурного убранства и соединялись между собой арочными проемами. Полы, в отличие от паркетных второго этажа, были дощатыми.
Владелец усадьбы князь Иван Сергеевич Гагарин был высокообразованным человеком. Среди его постоянных собеседников и друзей находились историк Н. М. Карамзин, поэт И. И. Дмитриев, ректор Московского университета И. П. Тургенев, другие литераторы и общественные деятели. Он и детям старался дать прекрасное образование. Сын его Григорий, например, учившийся вместе с В. А. Жуковским в Благородном пансионе при Московском университете, стал потом почетным членом знаменитого литературного общества «Арзамас», а впоследствии видным дипломатом. Назначенный в 1833 году русским посланником в Баварию, он на четыре года стал непосредственным начальником Ф. И. Тютчева.
Двадцать лет особняк в Армянском переулке принадлежал Гагариным. Но вот 20 января 1810 года «умре на христианской должности флота капитан Иван Сергеевич Гагарин, коему от роду было 64 года». Сыновья его, жившие уже отдельно от родителя, объявили вскоре о продаже дома, а тут как раз и нашлись состоятельные покупатели:
