И Виктория, и Альберт влюбятся в Балморал. Красота, тишина, уединение — место, где у них мог бы быть уютный дом для собственной семьи. Королева писала: «Это место столь чудесно не только потому, что там чистый воздух, а пейзажи прекрасны и спокойны. Дело в атмосфере любви и сердечной привязанности жителей Балморала, которые согревают сердце и утешают».
Замок был небольшим — настолько небольшим, что комфортно себя в нём чувствовала только сама августейшая чета, а вот их свите, и без того малочисленной, приходилось жить в тесноте. Даже министру лорду Мальмесбери, который должен был находиться при королеве, для занятия государственными делами, не нашлось кабинета, и ему приходилось работать в спальне, сидя на кровати.
Вот что пишет о своём визите в Балморал в 1849 году Чарльз Гревилль, оставивший обширные мемуары о временах королевы Виктории: «Из Перта в Балморал ведёт чудесная дорога. <…> Насколько я не люблю придворную Жизнь и всё, что с ней связано, я рад, что совершил эту поездку и повидал королеву и принца в их горном уединении, которое, со всей очевидностью, идёт им на пользу. Это чудесное место, здание совсем небольшое. Они живут там безо всякой пышности, просто как дворяне, причём Небогатые дворяне — небольшой дом, маленькие комнаты, скромное хозяйство. Там нет солдат, и вся охрана суверена и королевской семьи состоит из одного-единственного полицейского, которых ходит кругом, охраняя дом от непрошеных визитёров. Весь „двор“ состоит из леди Дуро и мисс Доусон, фрейлин; Джорджа Энсона и Гордона; Бирча, наставника принца Уэльского, и мисс Хильдиард, гувернантки. Живут они очень просто и скромно. Принц каждое утро отправляется на охоту, возвращается к обеду, а затем они отправляются на пешую или верховую прогулку. Королева целый день то в доме, то отправляется куда-нибудь, причём зачастую в одиночестве, навещает деревенские коттеджи, где беседует со старушками. <…>
Вечером мы отправились в комнату, расположенную за столовой, — она служит и бильярдной, и библиотекой (хотя книг почти нет), и кабинетом. Королева, принц, её дамы и Гордон вернулись в столовую, где учитель танцев учил их танцевать рил. Нам (Джону Расселу и мне) не позволили присутствовать на занятии, так что мы играли в бильярд. Затем все они вернулись, мы немного поговорили и отправились спать. Так прошёл мой визит в Балморал».
Королевская семья увеличивалась с каждым годом, к тому же нужно было принимать гостей, так что вскоре стало ясно, что места не хватает. В газетах писали: «Принято решение построить для королевы новый дворец в Балморале. Его возведут между рекой и старым замком, фасад будет обращён к югу. Приблизительная стоимость работ от восьмидесяти до ста тысяч фунтов. Архитектура будет современной, а красота будет сочетаться с удобством. Через реку Ди выстроят новый мост. Дорога, которая сейчас пролегает через Баллохбин, будет закрыта, и новую хорошую дорогу проложат по правому берегу реки. Старый замок снесут полностью. Участок для нового уже размечен».
