Жизнь в Николаевске была тяжелой и страшной. По поселку бродили стаи больших лесных крыс, спокойно проникали в дома, пожирая все, что попадалось, нападали на спящих. Офицеры, пока капитаны американских торговых судов не завезли на Амур кошек, ложились спать, поставив на пол свечу и положив рядом заряженный дробью пистолет. Ночью начиналась пальба по грызунам.
В конце Крымской войны генерал-губернатор Восточной Сибири генерал-лейтенант Муравьев назначил Невельского начальником штаба «войск на Амуре расположенных», оставив его фактически не у дел. Амурская экспедиция была ликвидирована. Многие советские историки и писатели создавали из Невельского трагическую фигуру главного героя присоединения Амура, подвергавшегося гонениям именно за свой патриотизм. Отстранение его от дел ставили в вину Муравьеву. На самом деле генерал-губернатор увидел, что Невельской в изменившихся условиях не справлялся с ситуацией, и поступил по отношению к Невельскому благородно: щадя самолюбие Геннадия Ивановича, придумал эту ненужную должность, на которой тот дождался предписания выехать в 1855 году в Петербург.
Как это ни грустно, но Муравьев, Невельской и Василий Степанович Завойко, «начальник морских и сухопутных сил, на Амуре расположенных», — три главных деятеля, благодаря которым Россия приобрела огромные территории на востоке и одержала победу на востоке в Крымской войне, расставались неприязненно. Завойко и Муравьев по крайней мере сумели переступить через взаимные обиды и обнялись на прощание, но Геннадий Иванович сделать этого не смог. Из троих наиболее благородно повел себя Николай Николаевич Муравьев. Он всегда отзывался о своих бывших помощниках самыми добрыми словами и никогда не пытался отнять у них славу.
Невельские провели пять лет на Амуре, а казалось — целую жизнь, спрессованную в эти годы. Геннадий Иванович начал свою амурскую эпопею холостым капитан-лейтенантом, а возвращался отцом семейства, контр-адмиралом. Это была блестящая карьера, но далась она ему нелегко.
Обратная дорога была длительной и нелегкой. Сначала вниз по Амуру, затем на шхуне «Восток» в Аян, оттуда на лошадях до реки Мая и по сибирским рекам до Иркутска, более четырех тысяч верст. Детей (у них родилась еще одна дочь), Ольгу и Марию, везли в больших плетеных корзинах, притороченных к седлу. В Петербург Екатерина Ивановна с дочерьми приехала лишь к концу года, задержавшись в Красноярске, где жила семья сестры.
