В следующем столетии семья унаследовала город Альба-де-Тормес и получила графский титул, а в следующем поколении (в 1472 году), после бракосочетания представителя рода Альба и свояченицы короля Фердинанда Католического, король Кастилии присвоил графу Гарсиа Альваресу титул герцога Альбы. Второй герцог, дон Фадрике, зарекомендовал себя как мудрый государственный деятель и верный слуга короля в тяжелые времена посте смерти Изабеллы, когда Фердинанд был отстранен от управления Кастилией. Однако он проявил определенную сдержанность по отношению к внуку Фердинанда, Карлу Габсбургу, когда тот вступил в права наследования.
Фернандо Альбе пришлось служить Карлу в течение всего периода его правления, когда на него позднее лег двойной груз правления германской и испанской коронами.
Жизнь Альбы пришлась на последний период расцвета германской императорской власти, начало подъема мощи западных держав, он был свидетелем могущества католической церкви и необратимых духовных изменений эпохи Возрождения и Реформации; он хранил в сердце старую Испанию, выполняющую свою собственную миссию, и вместе с тем служил новой величайшей мировой империи. Не в пример Карлу V или Франциску I Французскому, или Генриху VIII Английскому, или их главным советникам он пережил первую половину столетия, которое завершило Средневековье. И не в пример Генриху IV Французскому, Филиппу Испанскому, Вильгельму Оранскому, Елизавете Английской он встретил вторую половину, которая возвестила приход Нового времени. Долгая жизнь дала ему возможность, кто знает, к счастью или несчастью, пережить и то, и другое, будучи в старые времена молодым, а с победой нового — старым.
Родившийся в Пьедраите, в провинции Авила, мальчик провел свои первые годы преимущественно в замке Альба де Тормес, недалеко от Саламанки. Позднее он был привезен в огромный старый сарацинский замок в Абадии, южнее Альба де Тормес, принадлежавший семье. Его воспитанием занимался дед. Отец Гарсия, сын дона Фадрике, давно пал в боях с маврами на острове Герба, вблизи тунисского побережья. Мать, донья Беатрис Пиментель, дочь графа Беневента, не оказывала на сына заметного влияния.
Век предъявлял высокие требования к мышлению, знаниям, воспитанию и живости ума человека. Нужно было бегло изъясняться по-латыни и по-французски, иметь глубокие познания в арифметике и истории, чтобы сохранить уважение и достоинство. Разумеется, сюда же относились глубокие знания в теологии и догматике. Поэтому тщательное и углубленное изучение этих предметов не миновало молодого Альбу, рано проявившего зрелость мышления. Специально для мальчика были приглашены несколько учителей, среди них — знаменитый гуманист и философ Хуан Луис Вивес и поэты Хуан Бос-кан и Гарсиласо де ла Вега. То, что герцог Альба, известный впоследствии своей суровостью, в молодости под их руководством посвящал себя музам и писал стихи, что, впрочем, лучше удавалось одному из его предков, было скорее результатом воспитания, чем природного дарования.
