Жена умерла после родов в 1869 году, оставив сына Николая — будущего историка-архивиста, который тоже окончил лицей, но уже не с серебряной, как отец, а с золотой медалью. Не в силах сносить одиночество, Николай Сергеевич женился в Калуге на провинциальной актрисе Павле Щекиной, от которой осталась дочь — Ольга.
Николай Сергеевич все чаще обращался к прошлому, к своим дедам и бабкам, был хорошим рассказчиком. «Достаточно уронить одно слово, — писал Панкратов, — назвать одну какую-то фамилию, и в его голове поднимается целый рой живых образов и картин… Встают из гробов покойники, одеваются в плоть и кровь своих достоинств, живут, двигаются, повелевают, любят, секут крепостных, ухаживают за красивыми женщинами». Именно уникальное знание генеалогии и отношений людей в прошлом привлекло в Кашкине известного пушкиниста Б. Л. Модзалевского! Он нарочно приезжал из Петербурга в Калугу, чтобы послушать рассказы стареющего петрашевца. «Пребывание на Кавказе, — писал Модзалевский о Кашкине, — закалило как тело, так и дух его, снабдило изумительным самообладанием. В течение службы с лишком 30 лет разъезжая по уездным городам Калужской губернии… он приобрел не только любовь обывателей, но и известность во всем судебном мире».
— Из Петербурга, — рассказывал Кашкин, — меня приглашали занять должность в министерстве юстиции, но я отказался, чтобы не покидать родимого гнезда, где я всех знаю, где меня все знают… Дома дел много, некогда мне!
Панкратов спрашивал его об отношениях с Толстым.
— Я на него обиделся! — отвечал Кашкин. — На Орловщине жил мой родственник Пущин, сын декабриста. Так вот, он повздорил с крестьянами, вызвал войска с губернатором Неклюдовым, а Неклюдов и давай всех подряд сечь. Я написал Пущину, что сыновья декабристов обязаны просвещать людей, а не пороть их нагайками. Копию с этого письма я переслал в Ясную Поляну, а Толстой вступился за Пущина…
Панкратов спрашивал, каковы его отношения с Достоевским.
— После ссылки я установил с ним близкие связи, всю жизнь уважая этого человека-. Последний раз я виделся с Достоевским в Петербурге, как раз тогда началась Балканская война, писателя я застал больным. Анна Григорьевна сообщила мне, что вчера у них на квартире было заседание Славянского общества и Федя так разволновался за страдания братьев-болгар, что с ним случился припадок. Он все-таки вышел ко мне, долго говорил о великом будущем славянского мира… Не помню уже по какому вопросу, но мы вспомнили и Толстого. Я запомнил слова Федора Михайловича: «Во все времена, во всей мировой литературе не было таланта больше, чем Толстой. Но не люблю я его — гордый он!»
