Но после 1562 года его имя вдруг исчезает из разрядной книги. Измена князей Вишневецкого и Вельского привела к многочисленным опалам. Пострадали и князья Воротынские, они были отозваны с южной границы и заключены под стражу, вотчины их конфискованы. Александра Воротынского сослали в заволжский город Галич, «в тын», а Михаила Воротынского с семьей – в Белоозеро. Опальному «большому воеводе» было разрешено взять с собой только двенадцать слуг и столько же «черных мужиков» и «женок». Возможно, сыграла роль и близость Михаила Воротынского к Алексею Адашеву, возглавлявшему правительство «избранной рады»: падение правителя тяжело отразилось на судьбе его друзей и сторонников.
Впрочем, содержался в ссылке Михаил Воротынский в довольно хороших условиях, ему ежегодно отпускалось из казны около ста рублей, сумма по тем временам весьма значительная. В 1565 голу Михаил Воротынский получил только в счет «недодачи» за прошлый год три ведра рейнского вина, двести лимонов, несколько пудов изюма, тридцать аршин «бурской» тафты и другое добро. И, тем не менее, ссылка была тяжелым испытанием для Воротынского, потому что она означала отлучение от ратных дел, составлявших смысл жизни прославленного полководца…
К счастью, опала продолжалась недолго. Осенью 1565 года в разрядной книге появилась запись о новом назначении Михаила Воротынского и назначении высоком: «Сентября в 15 день царь и великий князь приговорил с боярами для бережения от воинских людей» быть «боярину и воеводе князю Михаилу Ивановичу Воротынскому», причем имя воеводы стояло в «росписи» вторым после двоюродного брата царя князя Владимира Андреевича, а сам он был поставлен воеводой большого полка. Ему возвратили Одоевский удел. Перед Земским собором 1566 года Воротынский вместе с князьями Мстиславским и Вельским официально руководил Боярской думой.
Возвращение Михаила Воротынского не было случайным. В 1567 году Крым и Польша заключили военный союз. Турецкий султан готовился оказать крымскому хану прямую военную помощь, планировал совместный поход на Астрахань, присоединенную к Российскому государству. Советский историк А. А. Новосельский, автор большого исследования о борьбе России с Крымом, считает, что во второй половине шестидесятых годов центр тяжести войны совершенно явно был перенесен на южный и восточный фронт. Без такого опытного воеводы, как Михаил Воротынский, на «крымской украине» было трудно обойтись.
1567 год застал Михаила Воротынского в Серпухове воеводой полка правой руки. Трехтысячная крымская орда пришла тогда на «московские украины», ограбила Северскую землю. В 1568 году Михаил Воротынский снова в Серпухове воеводой передового полка. В летней кампании этого года ему отводилась ведущая роль. В разрядной книге записано, что в случае, если «царь или царевичи учнут которые украины воевать», то против них «за реку итти боярину и воеводе князю Михаилу Ивановичу Воротынскому с товарищами по полкам», причем самому Воротынскому быть в большом полку.
