Бирон, добравшись до Пелыма только в начале ноября, поместился в нарочно построенном для него и его семейства доме, со службами, обнесёнными кругом высоким палисадом. Дом этот был выстроен по плану, составленному самим фельдмаршалом, не подозревавшим тогда, что трудится для двадцатилетнего своего помещения.
Жизнь ссыльных потекла совершенно скитническая. Правда, они не нуждались, как Меншиковы и Долгоруковы, в житейских средствах, так как на содержание их предназначено было отпускать около пяти тысяч пятисот рублей, на содержание пастора полтораста да на содержание прислуги по сто рублей, что, по тогдашней ценности, составляло значительную сумму, но зато они были более стеснены в личной свободе. Караульным офицерам приказано было содержать пленников «под крепким и осторожным караулом неисходно и всегдашнее смотрение иметь, чтобы никто из них никаким образом уйти не мог и в тамошнюю их бытность никого к ним не допускать, бумаги и чернил не давать». Впрочем, и без такого строгого наказа семейству Бирона невозможно было пользоваться свободою. Сам герцог, выехавший больным и в дороге ещё расхворавшийся, по приезде совершенно слёг в постель и стал готовиться к смерти. Около постели бессменно дежурили жена и дочь.
Скоро, однако же, однообразие жизни нарушилось непредвиденным несчастьем. В конце декабря, в полночь, случился пожар, начавшийся с потолка спальни больного герцога, от треснувшей печной трубы, и распространившийся потом почти на всё здание. Солдаты успели спасти только арестантов да очень незначительное количество пожитков. После пожара арестантов перевели в дом пелымского воеводы, где ссыльные и прожили около месяца, до времени, когда в Петербурге, на политической сцене, совершилась новая перемена.
Удача фельдмаршала Миниха, принятая всеми с таким восторгом, вместе обнаружила и опасную сторону, выказав возможность лёгкого переворота смелостью одного или нескольких лиц.
Правление принцессы Анны Леопольдовны, по-видимому, всех успокоило и не давало повода жаловаться. По выражению одного из современников, никогда Россия не управлялась с большей кротостью, как при этой правительнице, любившей оказывать милости и бывшей врагом всякой строгости; все вздохнули легко, освободившись от шпионства и пыточных допросов. Но, к нечастью, принцесса, при всех прекрасных качествах женственной натуры, совершенно была лишена правительственных способностей. Занятия государственными делами казались ей бременем, от которого она по возможности старалась уклониться, даже не давая себе труда входить в оценку действий лиц, которым она вверила управление. Образовались партии, с вечными интригами и раздорами. Во главе стояли два немца: Миних, в качестве первого министра, и Остерман — в качестве министра иностранных дел, оба не допускавшие равенства. Борьба между ними кончилась удалением от дел фельдмаршала, но на место его Андрею Ивановичу явился новый враг в лице вице-канцлера графа Михаила Гавриловича Головкина.
