Не менее опасливо отнеслась императрица к бывшей своей сопернице, принцессе Анне, некогда любимой и симпатичной подруге при дворе Анны Ивановны. Сначала обещав низверженному семейству брауншвейгцев свободный выезд за границу с назначением ему содержания по сто тысяч рублей в год, Елизавета вскоре, вероятно вследствие наговоров и убеждения своих приближённых и иностранных посланников, изменила решение и, продержав несчастную семью несколько лет под крепким караулом в крепостях Дюнамюндской и Раненбургской, наконец, заключила в самое строгое заточение в бывшем архиерейском доме, близ Холмогор, преобразованном в тюрьму.
Здесь умерла несчастная женщина, искупившая долгими годами тяжёлого страдания мимолётные проблески счастья. Сын её, император Иоанн, весь свой век просидевший в одиночном заключении, погиб при безумной попытке Мировича к его освобождению.
Этими сведениями очерчивается судьба всех главных действующих лиц Биронова времени; для окончания рассказа остаётся привести несколько слов о самом герцоге.
Освободившись от недругов, императрица вспомнила о Бироне. Лично против него она ничего не имела, напротив она помнила его угодливость, искательство и то нежное чувство, над которым она в то время смеялась, но которое всё-таки ей, как женщине, нравилось. И вот, рядом с немилостями, появилась и милость к изгнанникам. В Пелым послан приказ, с почётным паспортом о возвращении герцога с семейством.
До Пелыма это распоряжение достигло 20 января и немало обрадовало арестантов, если не всех, то по крайней мере некоторых, а в особенности Гедвигу, скучавшую в четырёх стенах, вечно у постели отчасти больного, отчасти хандрившего отца, никогда не упускавшего случая к ней придраться. По получении приказа, несмотря на болезнь герцога, тотчас же собрались в дорогу и направились в Курляндию, с прежними отдыхами и остановками. Один современник рассказывает, будто на одной станции, при перемене лошадей, встретились два поезда: один, направлявшийся в Пелым, с фельдмаршалом Минихом, другой — возвращающийся, с герцогом Бироном. Молча посмотрели друг на друга фельдмаршал и герцог.
На дороге Бирона встретил курьер, с новым распоряжением императрицы о назначении Ярославля местом для постоянною жительства герцога, куда и должен был направиться дальнейший путь. Не понравилось это распоряжение Бирону, как напоминавшее ссылку, хотя льготную и почётную, но всё-таки ссылку, и не без причины он объяснял эту перемену интригами бывших товарищей и недругов, Алексея Михайловича Черкасского и Никиты Юрьевича Трубецкого, о деятельности которых он мог бы порассказать, по возвращении, многое не совсем-то приглядное. По новому маршруту герцог и сопровождавшие его офицеры, Викентьев и Дурново, миновали Москву и на другой день после Благовещения прибыли в Ярославль, где был приготовлен для помещения их большой каменный дом на берегу Волги, с большим садом
