Дворец строился по заказу Фитц Джеймса, герцога Бервикского, главы британской аристократической семьи, незаконнорожденного сына английского короля Якоба II, перешедшего на службу к испанской короне.
Герцогство Лирия было получено герцогом Бервиком от короля Фелипе V, за победу в сражении при Альмансе в 1707 году.
При строительстве дворец задумывался как основная резиденция герцога, включающая в себя казармы его войска.
К 1802 году, после смерти музы Гойи, Каэтаны, герцогини Альба, роды Альба и Бервик-Фитц Джеймс соединились. Фактически у нынешних Альба мало кровных связей со знаменитым некогда родом.
На сегодняшний день дворец – единственный, оставшийся в Мадриде из великих частных резиденции тех времен, практически все остальные были разрушены или полностью перестроены.
Дворец – детище французских и испанских архитекторов, построен в стиле французских и итальянских дворцов. В отличие от других дворцов Мадрида, по примеру французского поместья, он убран вглубь улицы и скрыт за обширным парком. При закладке садов была взята английская планировка.
Во время испанской гражданской войны от дворца остался только фасад, семья в то время жила в Лондоне. К счастью шедевры из собрания дворца были отданы на хранение в Банк Испании и английское посольство, все было упаковано в специальные железные ящики, и коллекция уцелела. Не повезло только бесценной коллекции гравировок, которая погибла в огне или пропала во время перевозок.
Молодая герцогиня Каэтана начала реставрацию дворца в 1948 году и закончилась реставрация только в 1956 году. Дворец постигла бы участь прочих резиденций того времени, но Каэтана обещала отцу его сохранить.
При реконструкции были полностью перестроены разрушенные внутренние помещения и коллекции распределились по залам в соответствии со своим происхождением – испанский зал, итальянский зал.
Руководил реконструкцией архитектор Мануэль де Кабаньес Мата. К сожалению, не удалось восстановить часовню, украшавшие её росписи практически полностью утрачены.
В 1974 году дворец стал объектом национального культурного наследия, несмотря на то, что остается официальной резиденцией герцогского дома Альба, как обладателя титулов герцогов Liria и Jerica.
В 2009 году было объявлено о выходе официального путеводителя по дворцу, составленного одним из сыновей герцогини Альба. Среди сокровищ дворца – картины Веласкеса, Фра Анжелико, Эль Греко, Зурбарана, Ван Дийка и многих других классиков живописи, некоторые из них поистине бесценны.
