Еще до подавления восстания Альба, ссылаясь на плохое состояние здоровья и неблагоприятный климат Нидерландов, попросил отозвать его. Он повторил теперь эту просьбу, по праву сославшись на то, что «еще ни один король не имел в Нидерландах столько власти, сколько Филипп теперь», и со свойственной ему ясностью добавил, что сам в высшей степени нелюбим. В конечном счете, он ничего не сделал для того, чтобы это изменить.
То, что Филипп не удовлетворил этой просьбы, было наверняка первой и самой большой ошибкой, которую он сделал, пытаясь сохранить свое господство в Нидерландах. То, что сам он в этой ситуации не прибыл в Брюссель, было его второй ошибкой. Альбе пришлось терпеливо выжидать, будучи облеченным высокими почестями — среди прочего были шляпа и шпага, которыми папа отметил его к Рождеству 1568 года, что полагалось лишь правящим князьям и было передано ему во время торжественной мессы в Брюсселе в следующем году.
Возможно, у Филиппа на основании сообщений Альбы сложилось неверное представление о положении в Нидерландах и он считал, что победа над восставшими решила все. Очевидно, таким было и мнение герцога. Характерной для его менталитета является статуя, которую он сам себе воздвиг в Антверпене и которую выполнил фламандский скульптор Йонгелинг. Все в ней должно было символизировать строгое и справедливое правление. На постаменте выгравировано:
Фернандо Альваресу де Толедо, герцогу Альбе, правителю Нидерландов при Филиппе II, который подавил восстание, разбил мятежников, восстановил религию, обеспечил право, установил мир. Вернейшему слуге лучшего из королей.
Памятник, отлитый из пушки, простоял на своем месте в Антверпене лишь несколько лет. Он раздражал короля, вызывал зависть Эболи, и преемник Альбы Реквезенс приказал его убрать; позднее он был опять перелит в пушку. Впрочем, в эти довольно непосредственные времена было принято воздвигать себе памятники при жизни. Папы и бюргеры, меценаты и князья заказывали изображения и чувствовали себя вправе прославлять свои дела. Несмотря на это, современники Альбы расценили появление статуи как недостойный знак высокомерия и с удовлетворением восприняли ее исчезновение. Несколько позже преподобный Морильон, которому мы обязаны многими сведениями о деятельности Альбы, написал Гранвелле то, что печально противоречит надписи на памятнике:
«Что бы из этого ни вышло, герцог Альба оставит потомкам плохую память о себе».
