Главный корпус дважды достраивался, в начале XIX века это сделал архитектор Л. А. Руска, а затем, в 1875 году, – архитектор К. К. Рахау.
Сейчас можно увидеть первоначальное положение проемов на боковых ризалитах.
По странностям судьбы именно в этом дворце суждено было разместиться во второй половине XIX века турецкому посольству.
Дворец и служебный корпус одухотворены именами многих людей.
28 июня 1762 года в день своего вступления на престол Екатерина II вспомнила об опальном канцлере Александре Петровиче Бестужеве-Рюмине, привезла его в Петербург, поместив в приготовленный для него дворец Кантемира.
Императрица выкупила его у владельцев и пожаловала бывшему канцлеру Бестужеву-Рюмину в «вечное и потомственное владение», который прожил в нём всего четыре года и умер.
Наследники канцлера в 1768 году продали участок Владимиру Григорьевичу Орлову, брату фаворита Екатерины II незадолго перед тем назначенному директором Академии наук.
В 1775 году В. Орлов навсегда покинул Санкт-Петербург, перебравшись в Москву, а дом продал графине М. Н. Скавронской, жене двоюродного брата покойной императрицы Елизаветы Петровны, которая вскоре уехала за границу, предварительно продав дворец. Служебный корпус приобрёл управляющий придворной певческой капеллой Дмитрий Степанович Бортнянский, который одухотворил этот дом своей прекрасной музыкой. Около тридцати лет Дмитрий Степанович прожил в нём, сочиняя на радость всех петербуржцев духовные хоровые сочинения, чем навеки прославил своё имя. До сих пор в православных храмах и концертных залах звучат его произведения, волнуя слушателей, как и два века назад.
Он привёл порученный ему придворный хор в лучшее состояние. Все, знавшие композитора, отзывались о нём самыми тёплыми словами, а певчие просто его обожали.
По преданию, в день своей смерти 28 сентября 1825 года в возрасте 74 лет он призвал к себе хор капеллы и попросил исполнить концерт «Всякую прискорбна еси, душе моя», под звуки которого душа его рассталась с телом.
К сожалению, служебный флигель последующими владельцами архитектурно упростили до безобразности, что мы сейчас и наблюдаем.
Сам дворец побывал в собственности министерства финансов, здесь была и квартира самого министра. Им владел также крупнейший лесоторговец и меценат Илья Федулович Громов, для которого особняк был перестроен по проекту архитектора К. К. Рахау.
Именно тогда здание приобрело существующий облик.
Последним владельцем с 1888 года стал управляющий делами семьи Громовых В. А. Ратьков-Рожнов.
