Возможно, неспособность императрицы родить сына стала одной из причин того, что император Чэн-ди увлекся девушкой незнатного рода по имени Чжао, которая своим искусством пения и танца заслужила прозвище Летящая Ласточка. Вместе с ее сестрой, которая тоже пользовалась особой благосклонностью императора, Чжао удалось добиться отставки императрицы по обвинению в применении черной магии. Тем не менее две сестры тоже не смогли родить императору наследника, а мальчики, рожденные рабыней, были убиты матерью по их приказу, поскольку представляли угрозу сестрам, каждая из которых в свое время становилась императрицей.
Еще со времен У-ди управление империей постепенно переходило к группе пользовавшихся благосклонностью императора гражданских и военных лиц, получившей название «внутреннего цвора» — в отличие от «внешнего двора» чиновников-конфуцианцев, выполнявших административные функции. В эпоху династии Ранняя Хань евнухи не имели особого влияния на правительство и числились в дворцовом секретариате; исключение составляли два человека при непосредственных предшественниках Чэн-ди. Когда первый Министр воспротивился их влиянию, то подвергся такому давлению, что был вынужден покончить жизнь самоубийством. Это произошло в 46 году до н. э. — в том самом году, когда Юлий Цезарь вместе с Клеопатрой отправился в путешествие по Нилу. Больше ни одному евнуху не удалось приобрести подобного влияния, и в первые годы своего правления император Чэн-ди отказался от услуг евнухов в должности канцеляристов.
«Внутренний двор» возглавлял высший сановник империи, должность которого называлась да сы ма. Чэн-ди было всего девять лет, когда он взошел на трон, и поэтому главную роль в управлении империей играла вдова императора Юань-ди. Вдовствующая императрица, происходившая из влиятельного рода Ван, была властной дамой. Она добилась, чтобы на должность первого да сы ма был назначен ее брат, а затем на этом посту сменились еще четыре ее родственника. Последний из них, однако, был отправлен в отставку в 7 году до н. э., вскоре после смерти Чэн-ди, когда на трон под именем Ай-ди взошел один из внуков императора Юань-ди; новому императору еще не исполнилось восемнадцати лет.
Потеря власти — как потом оказалось, временная — семьей Ван привела к беспрецедентному соперничеству между влиятельными кланами, добивавшимися благосклонности императора. К их ужасу, император, имевший двух жен, приблизил к себе катамита Дун Сяня, который был еще моложе него. Во 2 году до н. э. Ай-ди назначил своего любовника на должность да сы ма и даже поговаривал о том, что собирается отречься от власти в его пользу. Но в 1 году до н. э. Ай-ди умер, не оставив наследника, и на следующий день Дун был с позором изгнан — согласно традиции такая серьезная «потеря лица» требовала самоубийства.
