Первое время после отставки К. И. Пален очень переживал случившееся, но вскоре освоился и стал участвовать в работе различных комитетов и комиссий, активно выступал в Государственном совете, в 1885 году даже временно председательствовал в Комитете министров, но былого влияния на государственные дела он уже не оказывал. Бывший министр юстиции в конце века подолгу жил в своем имении в Курляндской губернии, где его не раз избирали почетным мировым судьей. Спокойная, размеренная жизнь, изменила его в лучшую сторону. Он стал мягче, либеральнее.
В 1896 году о нем опять вспомнили — во время коронации Николая II граф Пален исполнял почетные функции Верховного маршала. После Ходынской катастрофы, когда в неимоверной давке погибло свыше тысячи человек, император, недовольный результатами официального следствия, поручил Палену провести дополнительное расследование. Однако и его выводы Николая II не устроили. К тому же граф отпустил несколько нелестных выражений в адрес великого князя Сергея Александровича, бывшего тогда Московским военным губернатором. Он сказал, что там, где «великие князья занимают ответственные должности, всегда происходит или какая-нибудь беда или крайний беспорядок». Эти слова надолго охладили к нему высший двор.
В начале XX столетия К. И. Пален появлялся в Государственном совете довольно часто. А. Ф. Кони писал, что граф стал там «самой симпатичной фигурой». Высокого мнения о нем был и граф С. Ю. Витте, который называл Палена «весьма почтенным и достойным человеком», а также «выдающимся государственным деятелем по своему благородству и своей порядочности».
Граф Пален радовался теперь почти каждому оправданию осужденных. 22 марта 1900 года он писал Н. С. Таганцеву по поводу оправдания Сенатом одного из прибалтийских пасторов: «Я позволю себе поздравить Ваше превосходительство и то учреждение, в котором Вы председательствуете. Каждый честный человек радуется, когда он убеждается, что Сенат сохранил великий принцип справедливости. Но Вы легко поймете, с каким теплым чувством я отношусь ко всякому проявлению начал истинного правосудия в наших судебных учреждениях».
В 1903 году к его многочисленным орденам и наградам добавился еще и алмазный знак ордена Святого Андрея Первозванного. В 1904 году им получен придворный чин обер-камергера Двора Его Императорского Величества.
В 1912 году А. Ф. Кони последний раз встретился с бывшим министром юстиции. Граф Пален рассказал ему много интересного о закулисной стороне событий, свидетелями и участниками которых они были. Потом неожиданно спросил Анатолия Федоровича: «Вы меня простили?» На недоумение, выраженное собеседником, продолжал: «Нет, вы отлично меня понимаете: я столько причинил вам неприятностей, даже горя, я отравил столько лет вашей жизни… но простите меня, старика, я не понимал вас тогда, я многого тогда не понимал: теперь я понял, я теперь другой человек, но поздно».
