Через год объявилось «лопухинское дело». В нем оказался уже замешан иноземный агент — австрийский посланник маркиз Ботта.
Саксонский резидент доносил секретно: «Я не в состоянии описать страшную боязнь и тайное смятение, овладевшее двором вследствие этого приключения. Куракин в течение нескольких ночей не решался ночевать у себя в доме, сама императрица устроила свой образ жизни таким образом, чтобы проводить всю ночь в обществе многих лиц; зато она почивает днем, а через это происходит много беспорядка в делах»…
Сначала свергнутого младенца с родителями хотели отправить восвояси к их родичам за границу. Но тут вступил в игру Фридрих II. Он посоветовал русскому посланнику Чернышову услать на всякий случай все брауншвейгское семейство в место столь удаленное, чтобы о них вообще все забыли.
В июле 1744 года все семейство отправили в Архангельск, чтобы поселить в Соловках. Принца Иоанна приказали везти отдельно майору Миллеру с такой инструкцией: «Когда Корф вам отдаст младенца четырехлетнего, то оного посадить в коляску и самому с ним сесть, и одного служителя своего или солдата иметь в коляске для бережения и содержания оного; именем его называть «Григорий». Ехать в Соловецкий монастырь, а что вы имеете с собою какого младенца, того никому не объявлять; иметь всегда коляску закрытую».
До Соловков пленники не доехали. Помешал шторм. Их пока в строжайшей тайности поселили в Холмогорах в бывшем архиерейском доме, да потом решили тут и оставить. Дом обнесли высоким забором. Ивана держали во флигеле, отдельно от родителей, маленького брата и сестер — в таком секрете, что они, похоже, даже не знали, что живут рядом.
Вскоре мать мальчика умерла, но он даже не узнал об этом. В полной изоляции он прожил в Холмогорах пятнадцать лет. Вопреки строжайшим запретам кто-то научил его грамоте и рассказал ему, кто он такой и как был свергнут с престола.
Летом 1756 года судьба его снова переменилась — к еще худшему.
При очередной облаве на один раскольничий скит задержали подозрительного человека. Он оказался тобольским посадским Иваном Зубаревым. За разные провинности он уже побывал в застенках Сыскного приказа, но сумел убежать. Его давно разыскивали. Теперь на допросах, под пытками Зубарев рассказал, будто после бегства скрывался у раскольников, а потом поехал с купеческими товарами извозчиком в Кенигсберг. Там местные офицеры, как было заведено, пытались его завербовать в прусские солдаты. Зубарев согласился. Но затем его решили использовать в качестве секретного агента. Отвезли в Потсдам, где бывший адъютант сосланного Елизаветой Миниха предложил ему тайно явиться в Россию к раскольникам и возмущать их в пользу Ивана Антоновича. Ему было сказано, будто скоро в Архангельск будет прислано прусское торговое судно, чтобы выкрасть Ивана. Зубарева представили даже самому Фридриху, который лично вручил ему две медали — пароль к Ивану.
