Эта столь долгая связь между себялюбивым, высокомерным и нередко выставлявшим себя на посмешище Георгом II и умной, добросердечной, обаятельной женщиной представляла собой для современников истинную загадку и не вызывала никакого шума. Как выразился один из ее современников, «по пристойности и приличию ее поведения к ней всегда относились так, будто ее добродетель никогда не подвергалась сомнению». Ходили слухи, что королева умышленно потакала этой связи, ибо не желала воцарения более молодой, красивой и тщеславной соперницы, стремившейся бы оказывать политическое влияние на короля. Сама же Генриэтта была чрезвычайно скрытным человеком, как говорил ее друг Хорэс Уолпол, «навечно таила то, что чувствовала».
Тем временем семейная жизнь Генриэтты дала такую трещину, которую заделать не представлялось никакой возможности. Когда Георг I выгнал сына с невесткой из Сент-Джеймсского дворца, отобрав у них детей, супружеская чета перебралась в особняк Лестер-хаус. Там вокруг них очень быстро образовался второй двор, оппозиционный окружению короля. Генриэтта была вынуждена последовать за своими повелителями, но муж потребовал, чтобы она осталась с ним в их прежних покоях. Генриэтта выбрала Лестер-хаус. В отместку муж отобрал у нее ребенка, запретил ей видеться с ним и воспитал мальчика в полной ненависти к матери, уверив, что она их бросила. Это совершенно не мешало Чарльзу регулярными угрозами выманивать у жены деньги. Впоследствии повзрослевший сын даже не пожелал встретиться с матерью и довольно рано умер.
Хотя сама фаворитка проявляла просто невиданную скрытность, Георг-Август каждый вечер точно в девять часов на глазах у всех направлялся в ее покои. Было замечено, что он часто по мере приближения заветного момента с нетерпением мерил шагами свою комнату с часами в руке, поджидая наступления вожделенного срока. Тем не менее Каролина терпеливо сносила это увлечение мужа, хотя иногда не могла устоять перед искушением публично подпустить Генриэтте шпильку. Комнаты, выделенные этой камер-фрау для проживания в Кенсингтонском дворце, по комфортабельности были далеки от положенных ей по статусу. Впоследствии Генриэтта вспоминала о царившей в них такой сырости, что впору было бы выращивать там грибы. Естественно, нельзя сказать, чтобы молодая женщина совершенно не пользовалась своим положением. Как только принц стал уделять ей повышенное внимание, в гору быстро пошла карьера при дворе ее брата Джона Хоубарта, которого сестра чрезвычайно любила.
