Ежегодно ссыльному семейству выдавали 6 тысяч рублей, продовольствие и вино. Конечно, они уже не могли позволить себе той роскоши, к которой привыкли в Петербурге, но даже многие знатные дворяне империи не располагали такой суммой, и жизнь брауншвейгцев была вполне сносной. Ссылка примирила и сблизила супругов, лишив их предмета семейных раздоров — власти. Анна Леопольдовна почти ежегодно исправно рожала детей: в 1743 году — Елизавету, в 1745 — Петра, в 1746 — Алексея. Это, особенно рождение мальчиков, раздражало Елизавету Петровну, так как потомки брауншвейгской фамилии все еще имели права на наследование престола, по указу императрицы Анны Иоанновны. Но что она могла поделать?
Утрата власти, высылка из Петербурга и частые роды подорвали здоровье Анны Леопольдовны. Бывшая правительница стала часто болеть, а климат побережья Белого моря не способствовал выздоровлению. Особенно тяжело сказался на ней последний моральный удар, нанесенной Елизаветой Петровной: императрица велела провести обыск среди личных вещей Анны, которую подозревала в краже драгоценностей из своего дворца перед отъездом в ссылку. После такого унижения Анна Леопольдовна слегла и скончалась 7 марта 1746 года.
Сначала как бывшую регентшу и члена царской семьи ее хотели похоронить в Петропавловской крепости. Тело Анны в бочкообразном футляре, набитом льдом, повезли в Петербург. На подъезде к столице сопровождавший его поручик получил приказ: доставить груз в Александро-Невскую лавру. Там Анну Леопольдовну и похоронили 18 марта 1746 года. Чести быть упокоенной в Петропавловском соборе рядом с Петром Великим, Екатериной I, Петром II и Анной Иоанновной она так и не удостоилась.
Императрица Елизавета Петровна строго следила за тем, чтобы у нее и ее племянника, молодого герцога Голштинского, не было ни живых, ни мертвых конкурентов. Главным предметом беспокойства оставался бывший император Иван Антонович, который продолжал жить и здравствовать, несмотря на суровые условия ссылки. Четырехлетним малышом он был отделен от родителей, но содержался в тех же Холмогорах, что и они. Вероятно, отец и мать имели какую-то возможность узнавать о здоровье и жизни сына. Так продолжалось до 1756 года.
Но вот мальчику исполнилось 16 лет, и он, по понятиям того времени, стал совершеннолетним. Власти больше не могли настаивать на его недееспособности, Иван стал для них по-настоящему опасен. Если бы кто-то захотел разыграть его карту, вполне мог произойти очередной государственный переворот под лозунгом «восстановления законной власти свергнутого императора». Ивана Антоновича нужно было упрятать подальше и понадежнее.
