При оставлении должности министра графу Владимиру Федоровичу оказаны были большие материальные милости. Рассказывали, будто бы [Александр II], по докладе ему о блестящем состоянии финансов министерства, особенно благодарил за составление резервного капитала в шестьдесят миллионов. Адлерберг поспешил уточнить цифры, указав, что всего отложен 61 миллион; но император ответил, что 61-й составляет собственность его, графа Владимира Федоровича. Весьма возможно, что это приукрашенный пересказ того, каким образом с глазу на глаз свалился миллионный подарок в карман престарелого министра. Вместе с тем ему предложен был в дар [дом], в котором жил он и дети с семьями (Фонтанка, № 20), но граф решительно отказался от дорогого подарка. Продавать царский подарок было неудобно, а содержание на свой счет большого особняка требовало значительных ежегодных расходов. Гораздо было удобнее получать готовые квартиры, ремонт, отопление, освещение, швейцаров, дворников и даже смотрителя за счет двора, а за этим дело не стало, так как на министерском посту вместо отца вступил сын, и вся семья осталась по-прежнему на своих прежних квартирах.
Об Адлерберге 1-м в министерстве осталась память как о добросовестном, неустанном работнике, рачительном хозяине, в частной жизни очень скромном, весьма нетребовательном. Это подтверждала и небольшая лично им занимаемая квартира и далеко не роскошная обстановка. Старослуживые придворные помнили Адлерберга 1-го всегда затянутого в мундире, уверяли, будто он носил корсет, подкрашивался и румянился. В былые годы он не сторонился утех любви, но в преклонном возрасте наводил красоту, конечно, не для прельщения женских сердец, а ради дворцовой представительности.
Наследовал на министерском посту Адлербергу 1-му сын его, Александр Владимирович Адлерберг 2-й, ровесник Александра II и с детских лет ближайший к нему человек, по отзывам лиц, знавших дворцовую жизнь — друг императора.
Александр Владимирович во многом являлся противоположностью своему отцу. Насколько первый был трудолюбив, пунктуален, подтянут, расчетлив, настолько второй — ленив, беспорядочен, распущен и расточителен. По общему признанию, он обладал большими способностями, быстро вникал в сущность дел, прекрасно владел пером. Нередко Александр II поручал ему составление писем для сношения с иностранными дворами не только семейного характера, но [и] имевших чисто политическое значение.
Про Адлерберга рассказывали, что он накоплял целые корзины нерассмотренных деловых бумаг, совершенно не интересовался своим министерством. Вся власть постепенно перешла к заведующему Контролем и в то же [время] директору театров бар. Кистеру.
