В 1896 году Иван Николаевич окончательно вышел в отставку с чином статского советника и полностью посвятил себя литературе, хотя вступил на это поприще гораздо раньше, в 1861 году, размещая корреспонденции в газетах «Московские ведомости», «День», «Голос» – изданиях, преимущественно, консервативно-охранительного или умеренно-оппозиционного толка. В 1870–1873 годах И. Н. Захарьин был членом редакции «Биржевых ведомостей» (в период, когда эта газета имела умеренно-либеральное направление), одновременно в течение в 1870-х годов – фактическим редактором демократического сатирического журнала «Будильник» и литературно-художественного, в достаточной мере аполитичного «Живописного обозрения».
Множество стихотворений, рассказов, пьес, исторических статей и воспоминаний И. Н. Захарьина в разные годы появлялось на страницах «Исторического вестника», «Русской старины», «Вестника Европы» и др. Ряд этих произведений был впоследствии собран в книгах: «Люди темные» (1889), «Грезы и песни» (сборник стихов, 1-е издание 1883 г., за 13 лет выдержало четыре издания), «Тени прошлого. Рассказы о былых делах» (1885), «Молодая пора» (1891), «Для спектаклей» (1897), «Хива» (1898), «Жизнь, служба и приключения мирового судьи» (1900), «Граф В. А. Перовский и его зимний поход в Хиву» (1901), «Кавказ и его герои» (1901), «Для народа» (1897), «Встречи и воспоминания» (1903).
Кроме того, в 1898–1904 годах И. Н. Захарьин занимался разбором архива фрейлины графини А. А. Толстой, некоторые материалы из которого были в 1904 году опубликованы в «Вестнике Европы».
Скончался И. Н. Захарьин в 1906 году в Кисловодске.
Сравнительно скудные сведения об этом авторе, тем не менее, рисуют перед нами портрет человека, более полувека отдавшего литературному поприщу. По своим политическим пристрастиям Захарьин принадлежал скорее к умеренной либеральной оппозиции, хотя порой склонялся к консервативно-охранительным взглядам, но не входил непосредственно в тот или иной лагерь, что, в сущности, естественно и объяснимо для человека, так или иначе связывающего свою творческую деятельность с исторической наукой. Именно позиционирование себя как историка, попытка разобраться в истоках, смысле и последствиях тех или иных событий, вызывала в литераторе нежелание полностью принимать узкий общественно-политический взгляд какой-либо партии и следовать ему. Тут уместно вспомнить слова одного из русских историков, старшего современника И. Н. Захарьина, М. П. Погодина: «Кто же более сверху смотрит, как не историк. Только именно историк и может смотреть на события сверху, потому что он знает прошедшее и по этому прошедшему может предсказать и будущее…»
