С глубоким недоверием покидал Филипп Барселону в начале октября 1548 года. Вначале он отправился в Геную, где его приняли с большой помпой. Император поручил ему обращаться с герцогом Альбой как с лицом, облеченным большими полномочиями; куда бы его ни приглашали, герцог должен был его сопровождать. Альба, однако, не принял этой почести; тем не менее он непрерывно работал над планами укрепления Испании. В Генуе он даже собрался построить цитадель для испанских войск, чтобы надолго обеспечить верность генуэзцев. Оттуда через Милан, Тренто и Германию он прибыл в Брюссель.
В Нидерландах, где, как прежде в Испании, Филипп переезжал с места на место, чтобы как будущий владыка принять присягу на верность, Альба был мостом между будущим королем и населением; часто он вместо Филиппа отвечал на обращения во время празднеств. Более года прошло подобным образом. Следующий год выдался в Германии таким же: переезды из города в город, где празднества сменялись перепалками из-за свиты. Однако результат был скудным; со вздохом облегчения покинул Филипп в мае 1551 года двор своего отца и возвратился в Испанию, куда в октябре прибыл герцог Альба, которому, к досаде Карла, после всех хлопот в путешествиях был предоставлен короткий отпуск для посещения дома.
Оценивая проведенное с наследником время, герцог вынужден был признаться перед самим собой, что для него оно было потрачено впустую. Роль придворного мало подходила ему и, кроме того, больше отвечала желанию императора, чем принца. Филипп мог ценить Альбу как полководца и советника своего отца, но привязан он был к молодому Гранвелле, который был избран епископом Арраса и стал первым политическим советником, и к Руи Гомесу де Сильве, который в четырехлетнем возрасте приехал в Испанию из Португалии и стал товарищем по детским играм Филиппа. Гибкая натура и дружелюбный характер сделали его важной персоной при дворе Филиппа, хотя Карл был о нем не слишком высокого мнения. Брак с принцессой Эболи еще больше укрепил его положение.
Как уже нередко случалось, пребывание Альбы на родной земле было преждевременно прервано. Произошло событие, которое Альба предвидел и которого опасался. Герцог Мориц Саксонский в результате долго готовившегося заговора предал императора, внезапно двинул войска с севера на Инсбрук, где находился Карл, и попытался захватить его. Измученный подагрой Карл бежал через Альпы и теперь призывал на помощь своих испанцев. Альбе пришлось спешно оставить жену и родину, мчаться к Филиппу, заложить драгоценности герцогини, чтобы иметь средства для вербовки войск, и затем ехать в Германию. Однако там военная помощь не понадобилась. После затянувшихся переговоров — Альба тоже выступал за мирные соглашения — было подписано наконец временное перемирие в Пассау.
