Тем не менее Елизавета вернулась к прежнему решению, остановив свой выбор на племяннике, герцоге Гольштейнском, и 4 января 1762 года, умирая, оставила ему трон. Пока была жива добрая императрица, не позволившая совершить за время своего царствования ни одной смертной казни, жизнь юного Ивана, хотя он и оставался в тюрьме, не подвергалась опасности.
Елизавета была настолько верна своей клятве никого не лишать жизни, что, согласившись подвергнуть пыткам убийцу, спрятавшегося в ее покоях и обнаруженного на пути, которым ей предстояло проследовать на обедню, она не позволила предать его смерти; тем не менее она страшно испугалась, ибо любила жизнь, умея наполнять ее наслаждениями, и начиная с этого времени никогда не ночевала два раза подряд в одной и той же комнате, причем никто заранее не знал, в какой спальне она проведет ночь.
Елизавета немного успокоилась лишь после того, как Разумовский, церковный певчий, ставший ее мужем, нашел ей надежного человека, очень некрасивого, очень верного и очень сильного, который каждую ночь спал у нее в передней.
Вернемся, однако, к Ивану.
После встречи с Елизаветой он был вновь препровожден в Шлиссельбург. Петр III встречался с Иваном дважды: в первый раз он сам отправился в крепость, а во второй раз приказал привезти его в Санкт-Петербург. О результатах этих встреч ничего не известно, но, вне всякого сомнения, страх, который они внушали Екатерине, ускорил свержение и смерть Петра III.
Взойдя на престол, Екатерина отдала самые строгие распоряжения относительно юного Ивана. Для него построили посредине двора крепости отдельный деревянный дом; вокруг дома тянулась галерея, где день и ночь дежурили часовые. С приходом ночи молодой принц ложился спать в постель, обособленно стоявшую посредине комнаты, подобно тому как сам дом обособленно стоял посредине двора. И тогда с потолка опускалась железная клетка, полностью накрывавшая кровать, и одновременно открывалась амбразура, в которой виднелось жерло пушки, заряженной картечью и наведенной на постель.
Хотя и находясь в заключении, и как раз потому, что он в нем находился, молодой принц будоражил все умы; не было ни одного беспорядка в столице, с которым не связывали бы его имя, звучавшее как угроза для Екатерины.
Даже послы нередко докладывали об этом своим государям.
Вот что писал о нем 25 августа 1751 года лорд Бекин-гем, посол Англии:
"В отношении Ивана взгляды разделяются: одни говорят, что он совершенно слабоумен, другие — что ему лишь недостает воспитания".
