В.И. Немирович-Данченко, побывавший на мальцовских заводах в 80-е годы 19 века в статье «Америка в России» о С.И.Мальцове пишет: «... в голодные годы кормит народ, платит за него подати, поддерживает невыгодные производства, чтобы людям было чем кормиться, схватывается за всякое новое дело ради прогресса производительности, зная, что он не принесет ему никакой выгоды. Личный доход отдает тому же делу, живет его жизнью, и до такой степени вошел в его интересы , что иных и не понимает». По мнению исследователей, личная жизнь Сергея Ивановича не сложилась - его жена княгиня Анастасия Николаевна (1820-1894), урожденная Урусова, была приближенной императрицы.
Последние годы жизни Сергей Иванович жил в своем имении в Крыму, похоронен был в дятьковском фамильном склепе.
В детях своих, к сожалению, Мальцов не увидел продолжателей отцовского дела, поэтому боясь наследственного деления, он разделил громадное состояние на паи, в 1875 году передал их учрежденному товариществу, оставаясь главным пайщиком. В 1894 году на базе стекольно-хрустальных предприятий, как наиболее рентабельных (металлургическое производство было сокращено в связи с уменьшением казенных заказов), было организовано акционерное общество Мальцовских заводов с общим капиталом 4 млн. руб.
Сыновей Сергея Ивановича, как и отца, ждала военная служба. Николай Сергеевич Мальцов (1849-1939) - эрудированный, высокообразованный человек, интересовался науками, хотя служил при военном совете, имел чин генерал-лейтенанта. Именно с его именем связана история создания Симеизской обсерватории. Построив в 1900 году башню для небольшого телескопа, оборудовав ее 2-х камерным астрографом, Николай Сергеевич после знакомства с Пулковским астрономом А.П.Ганским дарит свою обсерваторию Пулковской. В связи с этим одна из первых планет, открытых в Крыму, названа «Мальцовией», в честь Николая Сергеевича Мальцова. По представлению академика О.А.Баклунда Николай Сергеевич был избран почетным членом Академии Наук. Умер Н.С.Мальцов во Франции в доме для престарелых. Другой сын Сергея Ивановича - Иван Сергеевич (1847-1921) - генерал от инфантерии. Последние годы жизни жил в Крыму. В книге В.Кузьменко «Новый Симеиз и его окрестности на берегу Крыма», вышедший в 1913 году, Иван Сергеевич, представлен как первый почетный член общества благоустройства Нового Симеиза. Здесь же в Крыму он погиб, став жертвой «красного террора».
Дочь Сергея Ивановича - Мария ( 1842-1904) была замужем за вице-губернатором Тулы князем Леонидом Дмитриевичем Урусовым (Мальцовы дважды роднились с князьями Урусовыми), благодаря тесной дружбе Урусова и Л.Н.Толстого, великий русский писатель посетил Дятьково. Сама М.С.Урусова - хозяйка парижского литературного салона, прекрасно владевшая писательским талантом. В формулярном списке С.И. Мальцова упоминалась дочь Капитолина (1830-?). Именно с ней Сергей Иванович Мальцов верхом объезжал местность для выбора направлений главных линий при строительстве своего телеграфа. Капитолина Сергеевна - в первом браке княгиня Мещерская, в 1872 году вышла замуж за банкира Шарля Дориана. Деятельно участвовала в литературной жизни Парижа переводила на французский, печатала статьи, была другом В.Гюго. Внучка С.И. Мальцова - графиня Софья Владимировна Панина (1771-1956), известная своей благотворительностью. На ее средства был построен Народный Лиговский дом в Санкт-Петербурге. После февральской революции 1917 года она вошла в состав Временного правительства, была товарищем министра государственного призрения, позже - товарищем министра народного просвещения.
