Семья Завойко за годы пребывания в Аяне увеличилась ещё на трёх человек: родились дочери, которых назвали Прасковья, Мария, Екатерина. Помимо своих детей супруги воспитывали оставшегося сиротой сына врача Криницкого. Врач пропал без вести, а его жену убили ссыльные. Потом, когда мальчик подрос, Завойко через знакомых в Петербурге и Кронштадте устроил его в Штурманское училище.
Василий Степанович делился с женой всеми замыслами. Его давно привлекали Амур и земли, расположенные южнее. Завойко мечтал о незамерзающей гавани к югу от Амура, но он знал о строжайшем запрещении проникновения в эти территории из-за опасения правительства столкновения с Китаем, поэтому свои замыслы никому не раскрывал, кроме Юлии.
Он нашёл надёжного человека, бывшего штурманского офицера Дмитрия Ивановича Орлова, и отправил его в тайную экспедицию на Амур. Орлов проник не только на Амур, но и дошёл до границы с Кореей. Он вернулся со сведениями чрезвычайной важности, которые Завойко, рискуя понести жестокое наказание за самовольство, отправил в правление Российско-американской компании. Однако он не получил никакого ответа из Петербурга. В частном письме дядя его жены попросил Завойко прекратить любую переписку, связанную с Амуром, не объясняя при этом причин. Василий Степанович вопросов задавать не стал и просьбу адмирала выполнил. К сожалению, посланные им материалы в архивах пока не обнаружены. Возможно, они были уничтожены правлением компании, чтобы о них не стало известно Министерству иностранных дел, наложивших табу на всё, связанное с Амуром.
В 1849 году в Аяне побывал новый генерал-губернатор Восточной Сибири Николай Николаевич Муравьёв. Ознакомившись с результатами трудов капитана второго ранга, генерал понял, что имеет дело с незаурядным организатором, талант которого не используется в должной мере. Он предложил ему адмиральскую должность военного губернатора Камчатки и командира Петропавловского порта.
Завойко согласился не сразу, сказал, что должен обсудить это с женой, поскольку это касалось и её судьбы. Семья была крепким тылом Василия Степановича, жена всегда давала ему дельные советы. Десять лет безвыездно прожили они на побережье Охотского моря, несмотря на то, что срок обязательной службы в этих краях составлял пять лет. На семейном совете после долгих колебаний всё же решили принять предложение Муравьёва.
Вновь собрали пожитки, и на парусном компанейском судёнышке Юлия Егоровна с пятью маленькими детьми, беременная, отправилась по бурному Охотскому морю в плавание, длившееся несколько недель. Как измучились и она, и дети, рассказать невозможно, это можно понять, только испытав самому.
