Одно из известных столкновений произошло из-за войны в Ливонии. Сильвестр, под тем предлогом, что следует вести войну с иноверными татарами, советовал Ивану прекратить войну в Ливонии и покорить Крым. Не сумев изменить планы царя, он стал внушать ему, что все его неприятности посланы ему богом в наказание за строптивость и отказ выполнять совет духовника. Другой, ещё более важный повод для беспокойства за свою власть возник у Ивана во время его болезни, в 1553 году. Опасаясь своей смерти, царь захотел взять с бояр клятву на верность своему малолетнему сыну. Понимая, что в этом случае вся власть после смерти Ивана перейдёт к семейству его жены Захарьевым-Юрьевым, и помня, какие тяготы переживала Россия во время малолетства самого Ивана, и Сильвестр и Адашев воспротивились принятию такой клятвы. Взамен они пытались устроить, чтобы на престол, в случае смерти царя, взошёл его двоюродный брат Владимир Андреевич Старицкий. В глазах Ивана такое ослушание в самом важном для него вопросе, несомненно, было явным предательством. В своих письмах к Курбскому, оправдывая опалу и казни многих лучших людей государства, военачальников, своих ближайших помощников, Иван Грозный подчёркивал, что при Сильвестре и Адашеве он не имел никакой власти: «...Подружился он (Сильвестр) с Адашевым и начали советоваться тайком от нас, считая нас слабоумными, мало-помалу начали они всех вас бояр в свою волю приводить, снимая с нас власть... ни одной волости не оставили, где бы своих угодников не посадили, не докладывали нам ни о каких делах, как будто нас и не было; наши мнения и разумные они отвергали, а их и дурные советы были хороши. Так было во внешних делах; во внутренних же мне не было ни в чём воли: сколько спать, как одеваться — всё было ими определено, а я был как младенец. Но разве это противно разуму, что в летах совершенных не захотел я быть младенцем?.. Обращались со мною не как с владыкою или даже с братом, но как с низшим... попробую прекословить — и вот мне кричат, что и душа-то моя погибнет, и царство-то разорится. И такое утеснение увеличивалось не день ото дня, но час от часу... Когда по возвращении в Москву (из Казанского похода) я занемог, то доброхоты эти ...хотели воцарить далёкого от нас в колене князя Владимира, а младенца нашего погубить, воцарив князя Владимира... Таким образом, изменникам нашим было хорошо, а мы терпели притеснение...». Мы видим, что постепенно Иван Грозный вновь почувствовал, что не обладает достаточной властью в своём государстве. То, что было помощью и мудрым советом в глазах 17-летнего юноши, становилось нудной опекой и непокорностью в глазах 30-летнего властного мужчины. Утратив доверие к своим ближайшим советникам и желая восстановить покорность всего народа своей воле, Иван Грозный вновь почувствовал необходимость прибегнуть к испытанному способу борьбы и сменить своё окружение. Сильвестр и Адашев вначале попали в опалу и были отправлены в дальние города, а затем, после надуманного обвинения в отравлении царицы Анастасии, были убиты. Однако, все ключевые посты в государстве занимали их ставленники, поддерживавшие их политику и обязанные им своим положением. Поэтому Ивану вновь предстояло, добывая абсолютную власть, перетрясти всю Пирамиду.
