В августе, когда Шальной Джек не вернулся, чтобы дополнить семейный портрет, Кэтрин с маленьким сыном отправилась в почтовой карете в Абердин, где ей вновь пришлось снимать комнаты над магазином. Ее муж появлялся время от времени лишь для того, чтобы тянуть деньги из женщины, чей доход теперь уменьшился до 150 фунтов в год. Отвратительные скандалы, которые сопровождали его появление и которые, как утверждает Байрон, он помнил, не оставили у ребенка, по его собственному выражению, «вкуса к семейной жизни».
В Абердине жизнь матери и ребенка была спартанской и довольно неспокойной. Кэтрин, склонная к крайностям, переходила от неуемной любви к приступам гнева; сын, с его необузданным нравом, платил ей той же монетой. Соседи рассказывали, что миссис Байрон нередко бранила сына, называла его «хромуша», а через пять минут утешала поцелуями. Он со своей стороны развлекался тем, что во время церковной службы втыкал булавки в пухлые руки матери. Он не желал подчиняться. В шотландском пледе сине-зеленых тонов — цвета Гордонов — Байрон разъезжал на пони с хлыстом в руках и, если кто-то смеялся над его хромотой, пускал хлыст в ход и приговаривал: «Не смей так говорить!»
Шальной Джек писал из Франции сестре, которая была и его любовницей, умоляя ее «приехать ради Христа», так как у него нет ни крова, ни прислуги, а питаться приходится объедками. В августе 1791 года в Валансьене он умер от чахотки, продиктовав двум нотариусам завещание, в котором оставлял своего трехлетнего сына ответственным за его долги и расходы на похороны. Кэтрин ухитрилась их оплатить, заняв более тысячи фунтов под наследство, которое должна была получить после смерти своей бабки. Когда она узнала о смерти мужа, ее вопли были слышны по всей Брод-стрит: глубина ее скорби «граничила с помрачением рассудка». В довольно напыщенном письме, адресованном золовке, к которой она обращалась «моя дорогая сударыня», Кэтрин, описав свою безмерную печаль, попросила прядь волос покойного мужа в память о том времени, когда она и ее «милый Джонни» любили друг друга.
В пять с половиной лет Байрон стал настолько неуправляем, что Кэтрин отдала его в школу в надежде, что там мальчика приучат к послушанию. Отчуждение в семье, скандалы, обращение «хромое отродье» в устах матери, частые наказания — все это оставило столь глубокий след в его памяти, что много лет спустя в драме Байрона «Преображенный урод» мать называет сына, горбуна Арнольда, демоном и ночным кошмаром, когда тот молит ее не убивать свое дитя из ненависти к его отталкивающей внешности.
