Событие это привело к направлению на Кавказ царского фаворита — генерала И. Ф. Паскевича. Для разрешения возникшего между Ермоловым и Паскевичем конфликта был послан И. И. Дибич, принявший сторону Паскевича и оскорбительно отнесшийся к Ермолову. Дибич в донесении Николаю I писал, что «пагубный дух вольномыслия и либерализма разлит между войсками», входящими в корпус А. П. Ермолова.
Естественно, что после всего этого 27 марта 1827 года А. П. Ермолов был отстранен от всех должностей.
Уведомляя генерала об отставке, Николай I писал ему: «По обстоятельствам настоящих дел в Грузии, признав нужным дать войскам, там находящимся, особого Главного начальника, повелеваю Вам возвратиться в Россию и оставаться в своих деревнях впредь до моего повеления». Последние слова для боевого, энергичного, деятельного Ермолова означали, по сути, ссылку! Вместе с Ермоловым были уволены в отставку и его сподвижники, признанные «вредными».
Отставка Алексея Петровича Ермолова вызвала большой резонанс в общественных кругах России. В Архиве III Отделения (Орган политического сыска, созданный Николаем I в 1826 г. — Ю. Р.) сохранилась папка сводных сведений под названием «Общие рассуждения о Ермолове, собранные из различных сторон». В ней нашли место и сообщения о «сильнейшем впечатлении» различных лиц по этому поводу и т. п. Да и впоследствии III Отделение продолжало собирать секретные сведения об опальном генерале, а также о лицах, его посещавших!!
После отставки Ермолов до мая 1827 года сдавал дела в Тифлисе, а затем в простой кибитке выехал на жительство к своему престарелому отцу в его орловское имение Лукьянчиково. Именно здесь Ермолов взял за правило не принимать у себя только городских чиновников, «а всякому другому доступ свободен»!
В августе 1827 года его посетил родственник и друг Денис Давыдов. Пушкин, едучи на юг в 1829 году, сделал крюк в 200 верст, чтобы встретиться с генералом. Позже, по пути на Кавказ, у Ермолова побывали М. Ю. Лермонтов и М. П. Погодин.
В 1831 году Ермолов приехал в Москву, где в это время находился Николай I. Состоялась встреча опального генерала с царем, который намекнул Ермолову о своем желании вновь увидеть его на службе. После беседы Николай I вышел из кабинета под руку с Ермоловым. Это было воспринято как проявление монаршей милости, как знак благоволения. Однако дело свелось лишь к тому, что военный министр А. И. Чернышев предложил Ермолову занять довольно «спокойную», как он выразился, должность в генерал-аудиторате (военном судебном ведомстве). Ответ А. П. Ермолова был предельно прям: «Я не приму этой должности, которая возлагает на меня обязанности палача!»
