В течение трех лет поэт наслаждался обществом друзей и благосклонностью Сюаньцзуна, пока, в результате дворцовых интриг, не вынужден был покинуть Чанъань. Клевета и враждебность исходили как от завистников, так и от могущественного главного евнуха Гао Лиши. Говорят, что однажды во время застолья император повелел главному евнуху снять с подвыпившего Ли Бо сапоги — такое унижение евнух простить не мог. Ли Бо написал стихотворение в честь весеннего праздника в саду пионов, а евнух Гао Лиши нашептал Ян Гуйфэй, что Ли Бо, якобы воспевая ее красоту, на самом деле сравнил ее с «летящей ласточкой» (Фэй Янь), красавицей времен ханьской династии. Это был бы двусмысленный комплимент, ибо Фэй Янь обманула императора и была опозорена. Ян Гуйфэй возмутилась и потребовала изгнать поэта из дворца. Ли Бо был вынужден покинуть Чанъань и отправиться в Шаньдун. Возмущение Ян имело под собой почву. На горизонте появился некий полководец Ань Лушань. Он родился в Ляодуне за Великой китайской стеной, по одной из версий, принадлежал к племени киданей, по другой, у него была и иранская кровь, третьи считают, что Ань Лушань был китайцем, хотя и наполовину. В раннем возрасте он был взят в плен или продан в рабство китайскому генералу одного из северных гарнизонов. Проявив военные способности, он со временем получил офицерский чин и наконец стал генералом. Невероятно тучный, погружаясь в сон после обильного обеда, он издавал мощный храп. Ань часто веселил двор грубыми остротами и шутками. Его показное, грубое и неприкрытое варварство и пренебрежение этикетом стали для праздного двора постоянным поводом для веселья и особенно пришлись по вкусу Ян Гуйфэй. Согдийские предки, обитавшие в Средней Азии, оставили ему в наследство пышную растительность на лице и теле и большой мясистый нос, которые поражали китайцев. Ань был сметлив, находчив и наблюдателен, образован и, хотя не писал стихов и не цитировал наизусть классиков, знал шесть «варварских» языков и видел столько зарубежных стран, что беседовать с ним для императора оказалось куда интереснее, чем с китайскими эрудитами.
Красавица Ян не имела детей от императора. И не слишком юный полководец был провозглашен «приемным сыном» государя и его «драгоценной супруги». После этого Ань Лушань получил законное право бывать с императором в его внутренних покоях и чаще видеться с Ян Гуйфэй, ему было разрешено посещать наложницу во внутреннем дворце, что было неслыханной привилегией.
