Теперь Байрон стал литературным кумиром. Он поселился в лондонской гостинице, его читали герцогини, его жизнь — это хроника «раутов и разгула, балов и боксерских состязаний, вдовствующих герцогинь и дам полусвета, карт и проституток, парламентских дебатов и политических подробностей, маскарадов, вина, женщин, восковых фигур и ветряных мельниц». Однако он мог бы умерить свою язвительность по отношению к лейкисту Вордсворту, если бы предвидел, сколь яростные нападки навлекут на себя «Часы досуга». Мистер Хьюсон Кларк из Эммануэль-колледжа, написавший на них рецензию для «Сатирика», с удивлением вопрошал, «что заставило Джорджа Гордона Байрона осчастливить мир этим сборником стихов»; далее он высмеял лорда, разгуливающего по Кембриджу с медведем, и обрушил целый поток оскорблений на эту «пьяную каргу», его матушку.
Однако «совершенно уничтожила» его заметка в «Эдинбургском обозрении», самом влиятельном журнале того времени. Анонимным рецензентом был Генри Брум, позднее — барон Брум, ставший лордом-канцлером. Брум резко критиковал Байрона за упоминание о своем незрелом возрасте и о происхождении, за лицемерную просьбу к читателям проявить снисхождение к отсутствию таланта и самобытности. Далее он изложил необходимые условия для произведения искусства: «Мы умоляем его поверить, что для создания стихотворения необходима определенная доля живости и воображения и что стихотворение, чтоб его читали в наши дни, должно содержать хоть одну мысль, или хоть в чем-то отличаться от идей его предшественников, или иметь оригинальную форму». В заключение Брум утверждал, как выяснилось, ошибочно, что литературный мир никогда более не услышит имени Байрона.
Байрон был сокрушен, клялся, что с поэзией покончено навсегда, его хрупкое здание славы в среде герцогинь было разрушено. В стихотворении «Стансы для Джесси», которое было обращено к Эдлстону, он писал о «безжалостном кинжале судьбы», убившем любовников; теперь же он испытал удар безжалостного кинжала критиков, изливающих свой сплин и срывающих свою зависть в смертоносном педантизме по единственной причине — они никогда не смогут стать такими, как он.
В 1808 году Байрон переехал в Ньюстед, расторгнув аренду с лордом Греем де Рутином, который привел дом в состояние разрухи: стекла выбиты, лес в еще более печальном состоянии, поскольку кролики и зайцы, которых лорд расплодил для охоты, уничтожили всю листву и молодые побеги. Не обращая внимания на долги, Байрон выписал каменщиков, плотников, стекольщиков, драпировщиков, чтобы родовое гнездо засверкало, как в былые времена. Его тянуло к помпезности: драпировки, рюши, кисти, балдахины, позолоченное ложе под пологом, диадемы… В соответствии с его увлечением макабром он распорядился черепа, найденные в крипте аббатства, оправить в серебро и использовать как чаши.
