Гёте мог превозносить «Манфреда» за «божественное звучание», но в Англии публикация вызвала злобу и оживление слухов об инцесте. После ее появления в 1817 году драма подверглась резким нападкам. «Дей» и «Нью таймс» писали, что «Манфред спасается бегством от общества… Он повинен в инцесте… Лорд Байрон расцветил Манфреда собственными чертами». Миссис Вильерс в письме к Аннабелле утверждала, что никогда еще не испытывала такого ужаса и отвращения и что Байрон несомненно будет проклят в глазах света. Скрытые в драме обвинения в адрес самой Аннабеллы, которая появляется как «другая женщина» с «холодным сердцем и змеиной улыбкой», едва ли остались ею не замечены. Однако Августе Аннабелла писала в царственном тоне, указывая, что именно та должна сказать Байрону в связи с его вредоносным произведением: «Ты можешь говорить о “Манфреде” лишь с самым решительным осуждением. Он практически выдает тебя и подразумевает, что ты была виновна и после замужества».
Ответы Августы на письма Байрона становились все более уклончивыми, «полными уныния и тумана». Это бесило Байрона, он просил ее быть выше «пошлых людей и тем» — но Августа оставалась заложницей этих «пошлых людей и тем».
В 1819 году из Венеции он написал Августе письмо, которое можно рассматривать как сильнейшее подтверждение его чувств:
Драгоценная любовь моя, я виноват, что не писал тебе, но что я могу сказать? Трехлетнее отсутствие и полная смена обстановки и привычек так все меняют, что теперь у нас не осталось ничего общего, кроме нашей любви и родственных уз, но я никогда не чувствовал и никогда не смогу почувствовать хоть на секунду ослабления той совершенной и безграничной привязанности, которая нас связывает и лишает меня способности по-настоящему любить кого-либо другого. Кем они могут быть для меня после тебя?.. Мы, возможно, были не правы, но я ни о чем не жалею, кроме этой проклятой женитьбы и того, что ты отказалась любить меня, как любила раньше. Я никогда не смогу до конца простить тебя за эту ужасную перемену, но сам я уже не смогу измениться, и если что-либо радует мою душу, то потому лишь, что это напоминает мне тебя.
Августа переслала письмо Аннабелле с категорическим требованием — «сожги его». Аннабелла не стала этого делать. Она сняла с него копию для своей «Histoire», где описывала человека, с которым прожила тринадцать месяцев, а потом, с несвойственным ей милосердием, вернула письмо Августе.
