После 1562 года имя Михаила Воротынского неожиданно исчезает из разрядных книг. Причиной тому была опала, связанная с изменой князей Вишневецкого и Вельского. Князья Воротынские были отозваны с южной границы и заключены под стражу, имения их конфискованы. Александра Воротынского сослали в заволжский город Галич, а Михаила с семьей – в Белоозеро.
Несмотря на опалу, Михаил Воротынский содержался в ссылке в довольно хороших условиях. Ежегодно он получал от казны около ста рублей, что составляло по тем временам довольно значительную сумму. В 1565 году только в счет «недодачи» за предыдущий год ему поставили три ведра рейнского вина, двести лимонов, несколько пудов изюма, тридцать аршин «бурской» тафты и другое добро.
В том же году Михаил Воротынский вернулся из ссылки и был назначен воеводой Большого полка. Ему возвратили Одоевский удел. Перед Земским собором 1566 года Воротынский вместе с князьями Мстиславским и Вельским руководил Боярской думой.
В 1567 и 1568 годах Михаил Воротынский, будучи воеводой полка Правой руки, стоял со своей ратью в Серпухове. Летом 1568 года князь получил под свое начало Большой полк, вновь возглавив оборону южной границы.
В 1569 году 17-тысячная турецкая армия при ста тяжелых пушках с 40-тысячным войском крымцев и ногайцев подошла к Астрахани. Но защитники города отбили все приступы. Туркам пришлось отступить.
На следующий год 50-тысячная крымская орда подступала к Рязани и Кашире. С большим трудом ее отогнали, причем отбили полон. Михаил Воротынский в этот год находился сначала в Серпухове, потом в Коломне и снова в Серпухове.
В этот год в Серпухов с большим войском прибыл сам Иван Грозный. Был отложен уже подготовленный поход на Ревель, так как станичники доложили, что хан с большим войском двигается к «Украине». Однако татары не появлялись. Более того, путивльский наместник Петр Татев прислал «грамоту», в которой сообщалось, что по его поручению сторожевые казаки ездили в Дикое Поле и вернулись, не обнаружив даже следов крымской конницы.
В Серпухове собрался военный совет. Пришли к выводу, что сторожевая служба явно не справилась со своей задачей. И хотя еще хуже было бы, если бы сторожа пропустили действительный поход, последствия оказались тяжелыми – русское войско бесцельно простояло в Серпухове, вместо того чтобы воевать на западной границе. Реорганизация сторожевой службы была поручена самому опытному воеводе, руководителю всей обороны «крымской краины» князю Михаилу Воротынскому.
