Преобразовательная деятельность Сперанского вызвала недовольство в реакционных придворных кругах; вокруг него плелись интриги. До Александра I доходили слухи, муссируемые придворной средой, о «неблаговидных» отзывах о нем Сперанского. Самолюбивый император почувствовал себя оскорбленным, но не подавал виду; более того, стал демонстративно оказывать Сперанскому знаки своей «благосклонности», а это, как знали по собственному опыту придворные, служило верным признаком приближавшейся опалы. 1 января 1812 г. тот был удостоен ордена Александра Невского. А 17 марта 1812 г. он был вызван на аудиенцию к императору. После двухчасовою конфиденциального разговора Сперанский вышел из кабинета императора «в великом смущении». Дома он застал министра полиции А. Д. Балашова с помощником, которые опечатывали его бумаги. У дома уже стоял возок для отправки Сперанского в ссылку. Сначала его отправили в Нижний Новгород, но затем по новому доносу перевели в более далекую ссылку — в Пермь.
Падение Сперанского вызвало в придворных кругах бурю восторга. Некоторые даже удивлялись «милосердию» царя, не казнившего этого «преступника, изменника и предателя». Уверяли, что «этот изверг хотел возжечь бунт во всей России, дать вольность крестьянам и оружие для истребления дворян». Разумеется, все это было чистейшим вздором. Сам Александр I был убежден в невиновности ссыльного, но решил принести его в жертву, чтобы погасить растущее недовольство дворянства. Сперанский считал, что «первой и единственной» причиной его опалы явился слишком смелый план преобразований.
На следующий день после удаления Сперанского Александр говорил А. Н. Голицыну: «Если бы у тебя отсекли руку, ты наверно кричал бы и жаловался, что тебе больно; у меня прошлой ночью отняли Сперанского, а он был моею правою рукою!» Как вспоминал Голицын, «все это было сказано со слезами на глазах». Позже графу К. В. Нессельроде Александр объяснял: «Обстоятельства заставили меня принести эту жертву общественному мнению». Через четыре года Сперанский был «прощен», назначен сначала пензенским губернатором, а в 1819 г. — генерал-губернатором Сибири, где провел ряд административных реформ. В 1822 г. он был возвращен в Петербург, назначен членом Государственного совета, получил значительные земельные пожалования. Николай I сначала относился с подозрением к Сперанскому за его «былые либеральные увлечения» и за «связи» с декабристами, но после «нашел в нем верного и исполнительного слугу». Сперанский был введен в состав Верховного уголовного суда над декабристами, в котором играл видную роль, провел кодификацию законов Российской империи, за что был возведен в графское достоинство.
