Здоровье Невельских подорвали перенесенные лишения. Геннадий Иванович и Екатерина Ивановна часто болели. Ездили для излечения за границу, на воды, но все это не очень помогало.
Часто приходится читать, что подвиг Невельского замалчивался, а его чуть ли не преследовали. Все это чушь. Геннадия Ивановича назначили членом учебного отделения Морского технического комитета. В сущности, то была синекура. Дело в том, что ему трудно было подыскать подходящую должность. В командиры соединения кораблей он не годился, поскольку не имел соответствующего опыта и знаний: единственное, чем он командовал, — это маленьким транспортом «Байкал». В качестве администратора он тоже проявил себя не с лучшей стороны. Поэтому место, на которое его назначили, было идеальным решением.
Его исправно награждали высшими российскими орденами, присваивали последующие адмиральские звания, он стал полным адмиралом (высшее морское звание), дали высокую, «амурскую», пожизненную пенсию в две тысячи рублей. Словом, обижаться было не на что. Но если по совести, то сделанного им для Отечества было достаточно, чтобы обеспечить безбедное существование не только его и Екатерины Ивановны, но и их детей и внуков.
Были ли у Невельского недоброжелатели? Были, и немало. О Екатерине Ивановне никто и никогда не сказал худого слова, а о муже говорили и писали разное. Главным его оппонентом был очень достойный человек, адмирал Василий Степанович Завойко, считавший возвышение Невельского незаслуженным. Больше всего Завойко возмутила, по его мнению, ложь Невельского о том, что устье Амура судоходно для глубоко сидящих в воде океанских судов. Кроме того, он считал, что Геннадий Иванович воспользовался трудами штурмана Дмитрия Ивановича Орлова и приписал их себе. Большинство бывших участников событий на Амуре, выступивших в печати, осуждали Невельского не только за это, но и за гибель людей в Императорской гавани. Именно он являлся виновником гибели людей от голода и цинги в Императорской гавани, считал бывший командир транспорта «Иртыш» Пётр Фёдорович Гаврилов.
Геннадий Иванович ответил своим противникам оправданиями в «Морском сборнике», а затем написал воспоминания, в которых изложил события на Дальнем Востоке так, как они ему представлялись. Он работал над рукописью дома, в Петербурге, и в своей усадьбе в Кинешемском уезде, расположенной глубоко в лесу, вдали от населенных мест. Когда становилось невмоготу сидеть за письменным столом, Невельской диктовал записки жене. Екатерина Ивановна болезненно воспринимала все нападки на мужа и много помогала ему в работе над воспоминаниями.
