Первым известным владельцем алмаза был испанский король Филипп IV, который отдал камень в качестве приданого своей 15-летней дочери, инфанте Маргарите-Терезе, по случаю ее помолвки с австрийским императором Леопольдом I Габсбургом в 1664 году. Если алмаз до этого принадлежал испанской короне, то установить его раннюю историю не представляется возможным, так как королевский архив в Мадриде погиб во время гражданской войны 1936–1939 годов. Из одного из сохранившихся документов известно, что накануне свадьбы король Филипп приказал своему казначею составить список недавно приобретенных в Индии и Португалии драгоценных камней; из этого списка и был выбран большой синий алмаз.
Брак императора Леопольда с Маргаритой-Терезой был недолговечен — инфанта скончалась в 1675 году. Ее приданое, включая алмаз, осталось в собственности дома Габсбургов. Позже император Леопольд подарил все драгоценности, оставшиеся от Маргариты-Терезы, своей третьей супруге, Элеоноре Магдалене, которая пережила мужа, скончавшегося в 1720 году, и завещала большой синий алмаз своей внучке, эрцгерцогине Марии-Амалии, дочери императора Иосифа I.
В 1717 году эрцгерцогине сделал предложение наследный принц Баварии Карл Альберт. Их свадьба в 1722 году стала решающим событием в истории синего алмаза. С этого дня он стал фамильным алмазом баварского королевского дома Виттельсбахов и оставался им вплоть до 1918 года, когда последний король Баварии Людвиг III отрекся от престола.
Алмаз был пунктом номер один в списке приданого Марии-Амалии, где он описан как «большой синий бриллиант, стоимостью 240 тысяч гульденов окруженный бриллиантами меньшего размера». Позже драгоценный камень не раз приходил на выручку баварским монархам, время от времени испытывавшим финансовые трудности. Так, курфюрст Максимилиан Эммануил заложил алмаз банкиру Оппенхайму; спустя четыре года он был выкуплен за 543 тысячи гульденов.
Практически все первые владельцы алмаза из династии Виттельсбахов стремились придать камню особый блеск, придумывая для него новое роскошное обрамление. По заказу курфюрста Максимилиана III мюнхенские ювелиры установили «Виттельсбах» в центре бриллиантовой звезды с восемью расходящимися в стороны лучами. На создание этого украшения пошло около 700 бриллиантов разных размеров.
Последний король Баварии Людвиг III сложил свои полномочия в 1918 году. Он эмигрировал в Венгрию, где спустя три года скончался. Его останки были доставлены в Мюнхен и погребены в церкви театинцев. В этой траурной церемонии в последний раз «Виттельсбах» сопровождал баварского монарха.
