Эта осторожность кажется совершенно непохожей на обычную манеру Ёсицунэ, всегда отличавшуюся прямотой тактических действий; ясно, также, что и сам Ёритомо ожидал от своего импульсивного брата немедленной атаки на восток. Остается только гадать, — отчего в этот критический момент Ёсицунэ избрал столь осторожный шаг. Возможно, его вывела из равновесия и угнетала враждебность Ёритомо, и он потерял порывистость и оптимизм, так ярко проявлявшиеся в ранний период его жизни; не исключено, также, что он все еще колебался — атаковать, или нет своего старшего брата, которому он подчинялся столько лет как главе клана Минамото, первому лицу в его собственной семье; дядя, также, мог убедить его, что, не набрав соответствующего количества людей, противостоять камакурской силе было сумасшествием.
В любом случае, удача, что столь часто сопутствовала Ёсицунэ в более динамическое время его карьеры, на этот раз ему изменила. Немного спустя, после того, как он покинул Киото и сел на корабль, чтобы переплыть Внутреннее море, его маленький отряд был почти полностью уничтожен внезапным штормом, который (как рассказали Ёритомо) был наслан волей богов. По какой-то счастливой случайности Ёсицунэ и его дядя пережили кораблекрушение, погубившее почти всех их людей; однако надежды организовать вооруженную поддержку — что с самого начала представлялось довольно слабой перспективой — теперь исчезли, и все, на что теперь могли они надеяться, было попробовать избежать пленения вражескими войсками, которые окружали их со всех сторон. После кораблекрушения спутники расстались навсегда, и несколько месяцев спустя Юкииэ, неудачливый дядя, был настигнут и убит.
Ёсицунэ стал теперь одиноким отверженным, от которого отвернулся двор и которого яростно преследовал его брат, устроивший самую крупную в истории Японии охоту на человека. После серии случаев, когда только чудом ему удалось бежать, Ёсицунэ удалось совершенно сбить преследователей со своего следа. Считалось, что он мог вернуться в Киото (что он и сделал на самом деле), и в городе был проведен повальный обыск; во многие храмы, где мог скрываться Ёсицунэ, были посланы военные отряды; военные гарнизоны во всех провинциях были подняты по тревоге, всем заставам были разосланы приказы хвататься за любую ниточку, которая могла бы привести к его местонахождению. Однако, Япония XII века с ее плохой системой коммуникаций и медлительным транспортом, была огромной страной, а сложная горная система делала ее идеальным местом для того, чтобы скрыться преследуемому беглецу, в особенности — такому, как Ёсицунэ, у кого должно было быть немало тайных доброжелателей.
