Дни рождения Изабеллы часто вызывали у нее грустные чувства. «Юность прошла без возврата, — написала она, когда ей исполнилось тридцать девять лет. — Я содрогаюсь при мысли о старости, с которой должна буду столкнуться!» 28 февраля 1855 года, в день своего сорокадвухлетия, она «увидела болезненный сон о своей последней прогулке с доктором Лейном, мучительном расставании, разоблачении и блуждании по миру со стыдом и в отчаянии». Это была первая запись в дневнике, в которой Изабелла намекала на страх быть изобличенной — она представляла себя выброшенной из дома и бродящей по земле как падшая женщина. «Проснулась (1 марта) встревоженная и несчастная, — добавила она, — и весь день у меня болела голова».
Десятью годами раньше сексуальный скандал грозил позором керуэновской ветви семьи Изабеллы. Ее двоюродная сестра Изабелла Керуэн, также названная в честь их богатой и красивой бабушки, вышла в 1830 году замуж за его преподобие Джона Уордсуорта, ректора в Морсби, что в Камберленде, и старшего сына поэта Уильяма Уордсуорта. По словам ее новой тетки Дороти Уордсуорт, она была «сокровище, чистая душой и привлекательная, болезненно застенчивая… и всегда необыкновенно скромная». В 1843 году, после рождения шестого ребенка, Изабелла Уордсуорт заболела и по совету двух акушеров лечилась в Риме. Она попросила мужа привезти детей к ней, что он и сделал летом 1844 года. В декабре того года их четырехлетний сын подхватил лихорадку и умер. Джон обвинил жену в смерти мальчика и забрал у нее остальных детей. В отчаянии она написала родителям в Камберленд, раскрыв им, что ее муж живет в Риме с шестнадцатилетней итальянской девушкой. Джон дал этой девушке письменное обещание, что женится на ней после смерти своей больной жены и завещает свое имущество ей и их будущим детям.
Генри Керуэн пришел в ужас от «жестокого» обращения с его дочерью. Он написал своему зятю, настаивая, чтобы тот возвратил детей их матери и немедленно вернулся в Камберленд. В противном случае, угрожал он, история о сексуальном преступлении Джона станет известна его епископу. Керуэн написал также Уильяму Уордсуорту — «бедному, старому поэту», как он его назвал, — о постыдном поведении его сына. Генри Керуэн и Уильям Уордсуорт изменили свои завещания, оставив деньги непосредственно внукам вместо заблудшего Джона, а Керуэн договорился о выкупе у итальянской девушки обещания жениться, данного ей Джоном. В итоге он откупался от женщины, во власти которой было обрушить на семью позор, шантажируя тем самым своего зятя и вынуждая его вести себя прилично. Джон Уордсуорт подчинился требованиям Керуэна, и в свет не просочилось и намека на скандал. Изабелла Уордсуорт умерла в Баньи-ди-Лука в 1848 году. Джон Уордсуорт был женат трижды. Его недостойное поведение осталось тайной: его запомнили, по словам биографа его отца, как послушного дурня.
