Он помогал также музеям. В 1861 году он материально поддержал создание в Москве публичного Румянцевского музея и ежегодно жертвовал на него по 1 тысяче рублей. В 1894 году Солдатёнков перевёл 2 400 рублей за гипсы Мюнхенской глиптотеки И.В. Цветаеву, собиравшему тогда коллекцию Музея изящных искусств. Помогал Солдатёнков и Художественно-промышленному музею.
Особое место в собрании Солдатёнкова занимали иконы. Он всю жизнь был очень религиозным человеком, икона для него была не просто произведением искусства. В основном у него в коллекции были произведения строгановской школы. Были две бесценных иконы – «Спас» Андрея Рублева, Тихвинская икона Божией Матери.
Традиции своей старой веры Козьма Терентьевич старался блюсти свято. При царе Николае I на Руси старообрядческих священников не стало. Солдатёнков на свои деньги тайно нанял в Константинополе и содержал в Австрии «своего» старообрядческого митрополита. Тот должен был обучать и посвящать в сан новых раскольнических служителей культа. Вечерами Солдатёнков по-особому одевался и обязательно служил молебен в своей домашней молельне. Каждое письмо он начинал с того, что выводил в правом верхнем углу листа две буквы: «Г.Б.», что означает «Господи, благослови!»
Выбирать супругу из родного купеческого сословия Козьма Терентьевич не очень хотел. Да еще в то время часты стали браки с иностранками. Понимая, что полюбившаяся ему иностранка не согласится перейти в его старую веру, купец-старообрядец решил ограничиться браком гражданским. Француженка Клеманс Карловна Дюпюи очень плохо знала по-русски, а Кузьма Терентьевич, кроме русского, не говорил ни на одном языке. Однако в 1854 году у Козьмы Терентьевича Солдатёнкова и Клеманс Карловны родился сын. По документам он был Иваном Ильичом Барышевым.
Козьма Терентьевич сына любил. Его мечтой было увидеть Ивана писателем. Сын пока по семейной традиции исполнял обязанности старшего приказчика в отцовской лавке в Гостином дворе. «Пиши, Ваня, – говорил отец. – Как станешь писателем, все состояние на тебя отпишу». Под псевдонимом Мясницкий молодой человек относил в журналы зарисовки из жизни московского купечества. Великого писателя из него явно не выходило, это сильно огорчало отца. Он оставил сыну после смерти лишь 25 000 рублей из 8 000 000 своего состояния.
Скончался известный московский предприниматель, бескорыстный меценат, издатель, коллекционер 1 июня 1901 года на своей даче в Кунцеве. Как вспоминают современники, в последний путь его провожала вся столица, гроб с телом почившего несли на руках от имения в Кунцеве до Рогожского кладбища.
