Тогда Хасан атаковал лагерь противника при помощи своих лучших всадников, ударив по флангу вражеской армии. Итальянцы не выдержали удара и обратились в бегство. Попытка укрепить фланг за счёт немецких наёмников также не увенчалась успехом Сам император был вынужден спешно облачиться в доспехи в ожидании нападения врага Только личное мужество Карла V привело в чувство отступающих солдат. Весь остаток дня испанские офицеры приводили в чувство своих подчинённых и под проливным дождём ожидали новых вылазок.
Несколько драгоценных дней христианская армия провела в работах по восстановлению и укреплению своего лагеря.
25 октября на испанцев обрушилась новая беда — свирепый северо-восточный шторм застал флот в самое неподходящее время. Якоря не могли удержать корабли на песчаном грунте, и они медленно приближались к берегу, грозящему им гибелью. Один за другим корабли выбрасывались на берег и разбивались прибоем В течение шести часов затонуло около 150 кораблей, ещё 15 были выброшены на берег и попали в качестве трофеев к алжирцам На утро адмирал Дориа осматривал то, что осталось от его флота Пророчество адмирала сбылось. Даже те корабли, что остались на плаву, получили слишком серьёзные повреждения и нуждались в ремонте.
Учитывая всю серьёзность положения, Дориа посоветовал императору немедленно свернуть экспедицию, поскольку на затонувших кораблях располагалась львиная доля запасов провизии и армии реально грозил голод. Всего за несколько дней гордая испанская армия превратилась в своё жалкое подобие. Солдаты уже несколько дней подряд не могли просушить свою одежду, разогреть горячую пищу также было невозможно. Кроме того, сильно похолодало, и это только увеличило муки солдат. Лагерь превратился в болото. Порох промок и не годился для стрельбы, а вокруг постоянно рыскали арабские отряды, отлавливавшие зазевавшихся солдат. Кроме того, выяснилось, что боевые качества итальянских и немецких солдат были, мягко говоря, недостаточными для ведения нормальной войны, а испанских частей было крайне мало для ведения осады.
Учитывая все обстоятельства, Карл V решился на снятие осады и возвращение домой. Это было настоящим унижением, однако поступить иначе он не мог. Бросив часть имущества и артиллерии, испанская армия направилась к кораблям, и тут выяснилось, что после гибели значительной части транспортного флота на кораблях не хватает места для солдат. Скрепя сердце император приказал бросить в море всех лошадей. 2 ноября большая часть войск была погружена. Последним покинул берег сам император. После этого флот покинул алжирский берег. Перед отплытием, по одной из легенд, Карл V бросил в море свою корону со словами: «Прощай, безделушка. Пусть тебя носит тот, кто более удачлив».
