В начале 1756 года его быстро и скрытно перевезли в Шлиссельбургскую крепость. Из текста распоряжения о переводе Ивана в Шлиссельбург видно, что принц Антон Ульрих и братья и сестры бывшего императора были извещены о том, что его увозят, но им было строго приказано хранить это в тайне.
Как жил Иван Антонович в крепости и что с ним там происходило, судить сложно. Существует два рода известий на сей счет. Лица, окружавшие и охранявшие бывшего императора, начиная с его ссылки под Ригу и заканчивая отправкой в Шлиссельбург, считали его вполне обыкновенным ребенком и не замечали в нем каких-либо странностей и отклонений. В крепости он был изолирован от других заключенных и караульной команды. К нему приставили двух персональных стражников: бывшего сержанта Ингерманландского полка Луку Матвеевича Чекина и прапорщика того же полка Данилу Петровича Власьева. В их донесениях в Петербург, в Тайную канцелярию, сказано, что Иван был либо умалишенным, либо умственно недоразвитым с детства. Его лицо выглядело очень бледным и застывшим, как у покойника, он заикался, плохо говорил, часто рыдал и кричал по ночам, постоянно грыз ногти. Вел себя бывший император крайне агрессивно, набрасывался на охранников, ел мыло и крыс, за которыми охотился ночью, облачившись в матросскую шинель, разводил в своей камере пауков и также употреблял их в пищу. Часто на Ивана Антоновича нападала сильная слабость, и тогда он круглые сутки проводил в постели.
Эти известия считались достоверными, и именно они распространялись среди придворных и в народе. Но при этом историков всегда настораживал тот факт, что глава Тайной канцелярии Никита Панин дал коменданту Шлиссельбургской крепости распоряжение никого не пускать к секретному узнику, даже тюремного врача. Если Иван Антонович серьезно заболеет, то оставить это на волю Божью, а когда надежды на выздоровление уже не будет, позвать ему священника. То есть о состоянии физического и душевного здоровья бывшего императора должны были судить два бравых вояки. Свои обязанности, в том числе и «медицинские», они, видимо, исполняли исправно, за что в 1762 году получили повышение в чинах: Власьев стал капитаном, а Чекин — поручиком.
18 марта 1762 года Ивана Антоновича, которому в то время был уже 21 год, посетил его троюродный дядя — новый император Петр III. Императора сопровождали тайный советник датского двора Ассебург, полицмейстер Петербурга барон Корф, обер-шталмейстер Нарышкин, барон Штернберг и секретарь Волков. Ассебург и Корф беседовали с заключенным, и ни они, ни другие присутствовавшие при этом лица не заметили в Иване ни косноязычия, ни признаков сумасшествия или умственной неполноценности, ни других особенных странностей. Можно предположить, что человек, с годовалого возраста пребывавший в ссылке и тюремной камере, выглядел — да и был — не вполне адекватной личностью, но это объяснялось одиночеством и отсутствием возможностей свободного передвижения и общения и серьезным отклонением от нормы не являлось.
