Через два месяца, в ноябре 1852 года к Уокеру присоединились триста человек. Это была банда отчаянных подонков, похожих на тех, которые грабили шлюз, избивали китайцев или стреляли в «мексикашек». Когда они поняли, что ими командует всего лишь юноша, они составили план напасть на склад, где хранится запас пороха, забрать всё в лагере и двинуться на север, по пути грабя ранчо. Уокер узнал об их плане, предал зачинщиков военно-полевому суду и расстрелял их. С таким недисциплинированным войском это действие требовало очень большого мужества. Именно это качество и уважали люди, которые были с ним. Они поняли, что их руководитель может и стрелять, и карать. Большинству не нужен был руководитель, который готов карать, поэтому когда Уокер попросил поднять руки тех, кто хочет идти с ним в Сонору, с ним осталось только первые пятьдесят пять человек и сорок позднейших новобранцев. С менее чем девятьюстами человек он начал движение на Сонору вдоль залива через всю Нижнюю Калифорнию.
С самого начала флибустьеров сопровождали несчастья. Мексиканцы и их союзники-индейцы неожиданно нападали с флангов и сзади. Почти ежедневно встречались изуродованные тела попавших в руки индейцев людей. Отставшие и дезертиры закапывались в землю и подвергались пыткам. Раненые флибустьеры погибали от нехватки медикаментов. Единственные инструменты, которые у них имелись для вытаскивания наконечников стрел, были клещи, сделанные из пары шомполов. Единственной едой были коровы, которых они убивали по пути. Армия шла босиком, кабинет министров носил лохмотья, президент Соноры обувал на одну ногу ботинок, а на другую сапог.
Не имея возможности продолжать путь, Уокер вернулся на Сан-Винсент, где оставил оружие и боеприпасы дезертиров и арьергард из восемнадцати человек. Никого из них он больше не видел. Двенадцать человек дезертировали, а остальных мексиканцы переловили своими лассо и запытали до смерти. Сейчас у Уокера было только тридцать пять человек. Даже если бы к нему шло подкрепление из Сан-Франциско, ждать его было невозможно. Он решил форсированным маршем достичь границы с Калифорнией. От безопасного места его отделяли мексиканские солдаты, охраняющие дороги, и индейцы, скрывающиеся с флангов. У Сан-Диего, когда до границы оставалось три мили, полковник Мелендрес, который командовал мексиканскими войсками, предложил выжившим участникам экспедиции сдаться, пообещав сохранить жизни всем, кроме руководителя. Но люди, которые целый год сражались и голодали с Уокером, не согласились бросить его в трёх милях от дома.
