Байрон почти не видел отца, однако всю жизнь оставался пленником ярких и дерзких подвигов своих предков с отцовской стороны; они родились с оружием в руках и в доспехах, хвастался он, и прошли во главе своих воинов от Европы до долин Палестины. Живой рассказ о кораблекрушении у побережья Арракана, описанный одним из его предков, стал источником вдохновения поэта, когда он сочинял Четвертую песнь «Дон Жуана». В отношении семьи своей матери Байрон был более нелицеприятен — он даже утверждал, будто вся плохая кровь в его жилах унаследована от этих выблядков Банко.
Как рассказывает Томас Мур, Байрон «столкнулся с разочарованиями на самом пороге жизни»: мать — взбалмошная и капризная, в смягчающем влиянии сестры ему было отказано. Мур говорит, что мальчик был лишен утешений, которые могли бы умерить высокий накал его чувств и «освободить их от бурных стремнин и водопадов». Однако те же самые «стремнины и водопады» характеризуют и предков Байрона как по мужской, так и по женской линии.
Байроны, упомянутые в «Книге Судного дня», это де Бурэны Нормандские, вассалы Вильгельма Завоевателя, получившие титул и земли в Ноттингемшире, Дербишире и Ланкашире за доблесть в битвах на суше и на море. В 1573 году Джон Байрон из Колуика купил за 810 фунтов у Генриха VIII Ньюстедское аббатство в Ноттингемшире — дом, церковь, монастырь на трех тысячах акров земли — и лет через шесть был посвящен в рыцари Елизаветой I. Он переделал Ньюстед с размахом, по своему вкусу, приспособив его для светских нужд, даже разместил там театральную труппу. Ко времени рождения Байрона его двоюродный дедушка, известный по прозвищу Злобный Лорд, жил в уединении в Ньюстеде, своем фамильном гнезде. Когда-то человек буйный, он под гнетом жизненных невзгод стал затворником. Построив причудливый замок и каменные укрепления на озере, по которому плавали игрушечные корабли, он разыгрывал там морские баталии со своим доверенным слугой Джо Марри, присвоив тому звание второго по старшинству командира; о том же Марри ходил слух, что он научил говорить с собой живущих за камином сверчков.
В 1765 году в Лондоне, в таверне на Пэлл-Мэлл состоялась встреча ноттингемширских сквайров и знати, многие из которых были связаны родственными узами. Злобный Лорд и его кузен Уильям Чаворт затеяли спор о том, как лучше подвешивать дичь; взаимное ожесточение зашло столь далеко, что мужчины перешли в верхнюю комнату, где при свете единственной свечи Злобный Лорд проткнул шпагой живот своего оппонента. После недолгого заключения в Тауэре за убийство он был помилован его друзьями пэрами и освобожден после уплаты скромного штрафа. Злобный Лорд возвратился в Ньюстед и становился все более несносным; жена покинула его. Он обрюхатил одну из служанок, которая называла себя леди Бетти. Его сын и наследник Уильям должен был жениться также на наследнице, но вместо этого сбежал со своей двоюродной сестрой. В отместку Злобный Лорд велел вырубить большую дубовую рощу, а две тысячи оленей, обитавших в его лесах, были зарезаны и проданы на мэнсфилдском рынке за гроши. В последнем приступе мстительности он заложил свои права на угольные шахты в Рочдейле, лишив дохода всех будущих наследников. И все же Байрон гордился благородством своего происхождения, забывая добавить, что многие из его родни были скотами и проходимцами, по временам впадавшими в помешательство и, как выразился Томас Мур, постоянно страдавшими от «вторжения в их жизнь финансовых затруднений».
