В любимом и так часто снившемся Елизавете Поссенхофере император просто не узнавал свою печальную жену-затворницу. Она буквально сияла от переполнявшей ее радости. Ей не хотелось думать о возвращении в Вену, где ее ждала неумолимая свекровь и бесконечная, иссушающая душу вражда. Летом 1856 года императрица родила еще одну девочку, которую назвали Гизелой и… снова унесли к свекрови. Но тут уже не выдержал Франц Иосиф. Он буквально взбунтовался и выказал матери свое недовольство. Впервые в резкой форме он потребовал у нее не вмешиваться в его семейную жизнь и заявил, что отныне дочери будут жить с родителями. А еще сын обязал ее соблюдать уважение к той женщине, которую он любит всем сердцем. Впервые со времени замужества Елизавета одержала победу, но она оказалась пирровой. София отчетливо поняла, что лишается былого влияния на сына, и отныне перестала скрывать свою враждебность к невестке. А вслед за этим судьба нанесла императорской чете свой первый удар: в 1857 году умерла их двухлетняя дочь София. Отчасти это тяжелое горе было смягчено в августе того же года появлением на свет долгожданного наследника, которого нарекли Рудольфом. Но даже после рождения сына положение Елизаветы при дворе оставалось тяжелым. К тому же в отношениях супругов наступило охлаждение. Многие современники видели его причину в действиях матери императора, считая, что именно эта интриганка подсунула Елизавете первого любовника, а Францу Иосифу – любовницу. Но, так или иначе, факт остается фактом: семейная жизнь императорской четы дала трещину.
Охладев к жене, Франц Иосиф с головой ушел в государственные дела. От горьких мыслей отвлекала его и любовь к военному делу. Он часто пропадал на военных парадах и маневрах. А остававшаяся в одиночестве Елизавета все чаще впадала в меланхолию. Она еще пыталась всеми силами отстаивать право на собственные мысли, взгляды и поступки. Наперекор канонам дворцового этикета императрица открыла двери монарших апартаментов для художественной интеллигенции Вены. В круг ее общения стали входить художники, артисты, поэты и люди других творческих профессий, считавшиеся еще вчера немыслимым обществом для императорского двора. Конечно же, это не только не прибавляло ей популярности среди придворных, но и вызывало открытую враждебность.
Полному охлаждению между супругами способствовали и долгие путешествия и поездки по стране, в которые с удовольствием отправлялась Сиси. Особенно она любила бывать в Венгрии. И хотя жители этой второй половины империи Габсбургов хорошо помнили о жестоком подавлении венгерского восстания Францем Иосифом, к Елизавете они относились с большим уважением. Впервые она появилась здесь с мужем в 1857 году. Тогда, по понятным причинам, императорская чета была встречена в Венгрии прохладно. Но неподдельный интерес императрицы к истории и нынешнему положению страны, к самим венграм довольно быстро настроил население по отношению к ней на доброжелательный лад. Тем более, что все хорошо знали, что она не ладит с эрцгерцогиней Софией, которую так ненавидели в Венгрии. С появлением в семействе Габсбургов молодой императрицы в сердцах мадьяров зародилась робкая надежда на то, что в ее лице они найдут свою заступницу, которая сможет повлиять на Франца Иосифа в венгерском вопросе. Елизавета каким-то неведомым чутьем уловила эти надежды и поняла, что здесь ей доверяют. Поэтому когда она приезжала в Венгрию, то чувствовала, что все ее душевные раны словно затягивались. Вернувшись в Вену из очередной поездки, императрица засела за изучение венгерского языка и вскоре овладела им в совершенстве. В ее библиотеке появились книги венгерских авторов, а ближайшей подругой стала уроженка Венгрии Мария Валерзе, позднее ставшая графиней Лярош. А однажды Елизавета и вовсе вызвала в австрийском свете бурю негодования, появившись в театре в венгерском национальном костюме.
