Усадебная жизнь князя сопровождалась «восторженным уважением» и «похвалами его уму и заботе» о крестьянах и дворне. Эта забота о яснополянцах перешла от деда к внуку. Дед писателя был в меру строгим, избегал жестокостей. «Я думаю, — вспоминал Толстой, — что они были. Но восторженное уважение к его важности и разумности было так велико в дворовых и крестьянах его времени, которых я часто расспрашивал про него, что хотя я и слышал осуждения моего отца, я слышал только похвалы уму, хозяйственности и заботе о крестьянах и в особенности огромной дворне моего деда. Он построил прекрасные помещения для дворовых и заботился о том, чтобы они были всегда не только сыты, но и хорошо одеты и веселились бы. По праздникам он устраивал для них увеселения, качели, хороводы. Еще более он заботился, как всякий умный помещик, о благосостоянии крестьян, и они благоденствовали, тем
более что высокое положение деда, внушая уважение становым, исправникам и заседателю, избавляло их от притеснения начальства». Приведенный фрагмент свидетельствует о несказанном чувстве гордости потомка за своего сиятельного предка, о желании подражать мудрому хозяйствованию деда на своей земле, его разумному стилю жизни в общении с дворовыми и крестьянами. Будничные пристрастия князя Волконского сводились к разведению любимых цветов и оранжерейных растений. Вкусы его были не совсем обычны. Так, боевой генерал «терпеть не мог охоты», но зато обожал музыку, которая оказалась врожденной страстью для его внука. Он держал для себя и дочери «хороший небольшой оркестр», который исполнял сочинения Гайдна в регулярном парке «Клины». Вокруг огромного вяза размещались скамейки с пюпитрами для оркестрантов.
«Князь вовсе не был злодеем, никого не засекал, не закладывал жены в стены, не ел за четверых, не имел сералей, не был озабочен поркой людей, охотой и распутством, а, напротив, всего этого терпеть не мог, и был умный, образованный и вполне порядочный человек». Вот такая безупречная характеристика была дана князю Волконскому его внуком. Однако идеальный образ деда был несколько скомпрометирован его сожительством с горничной Александрой, от которой он имел детей, отсылаемых в воспитательный дом.
Но это не помешало восторженному отношению Толстого к своему предку, наделенному необычайно сильным характером, что особенно ярко проявилось в эпизоде с приездом Александра I, пожелавшего навестить князя в Ясной Поляне. По дороге император заснул и находился уже далеко от Ясной Поляны, забыв про обещание навестить Волконского. Князь запряг лошадей, догнал венценосца и доставил его в Ясную Поляну.
