Подготовка, проведенная Альбой, была большим достижением, однако судьбе было угодно, чтобы она стала практически напрасной, ведь Карл поставил задачу не только обороны страны, но и подготовки нового нападения на турок, которое оказалось неудачным На этот раз нужно было завоевать Алжир. Вероятно, виновата не постановка задачи, а момент, выбранный для ее осуществления. В середине октября 1541 года, когда погода была уже неблагоприятной, герцог получил приказ выйти в море.
Следуя приказу, Альба отправился на африканское побережье и там с пятью тысячами человек ожидал флот Карла. Однако когда Карл прибыл с двадцатью тысячами человек, осенние бури в течение нескольких дней не давали возможности высадиться на берег. Когда люди наконец высадились, бури воспрепятствовали выгрузке провианта и артиллерии. Голодным и беззащитным солдатам пришлось выдерживать натиск мавров. Буря усиливалась, удержать позиции было невозможно, и после трех мучительных дней войско вновь с трудом погрузилось на суда. От предприятия пришлось отказаться. На обратном пути ураган привел к новым жертвам; разбитый в пух и прах, Карл V достиг берегов Испании 1 ноября.
Роль герцога Альбы во время военных действий в Африке весьма незначительная. Он не был рядом с императором, когда принималось решение о нападении, не участвовал в командовании операцией, поскольку лишь часть испанской армии была высажена на берег. Он не давал команды возвращаться, поскольку Карл не назначал его руководить операцией. Лишь один голос прозвучал против — завоевателя Мексики Эрнана Кортеса. Он уже пережил трудности подобного рода, испытал большие опасности и нашел выход. Эрнан вызвался с частью войска в Африке вести войну на свой страх и риск. Однако Карл ответил вежливым отказом. Возможно, был упущен великий момент. Кортес умер шесть лет спустя, в ожесточении и, как Колумб, одиночестве.
Лишь один Альба вернулся, чтобы пожинать лавры. Его подготовка и строгость в отношении испанского дворянства нашли полное понимание у императора. Еще на побережье Алжира он получил высший пост королевства — верховного камергера.
Карл V сразу же учел неудачу своей экспедиции, за которой последовал ответный удар французов и турок в следующем году. Поэтому первой его заботой после возвращения стало укрепление северных границ Испании. При этом речь не могла идти ни о ком кроме Альбы. Лишь два месяца были отпущены герцогу для пребывания дома. В начале января, в разгар зимы, ему пришлось уехать, чтобы обеспечить необходимые приготовления. Его основное внимание было направлено на небольшую провинцию Руссильон и город Перпиньян, расположенные на Средиземном море, севернее Пиренеев.
