Инцидент казался исчерпанным, но не тут-то было. Кто то из профессоров рассказал о лабзинской шутке студентам, те разнесли хлесткую фразу по кофейням и пивным, там ее услышали полицейские информаторы – и дело дошло до высокого начальства. 10 октября столичный генерал-губернатор граф Милорадович запросил официальных объяснений у Президента Академии А.Н. Оленина. Оленин, человек благородный, хотел замять это дело, но вынужден был отправить свой отчет, где писал, что все происшествие кажется ему пустячным. В ответ он получил от Милорадовича очень строгое письмо, где ему указывалось на исключительную важность этого дела. Милорадович послал доклад Оленина со своими комментариями Александру в Верону. Уже 20 октября последовал указ Сената, в котором предписывалось: Оленину – немедленно отправить Лабзина в отставку, Голицыну – объявить Оленину строгий выговор за недонесение о «государственном деле», Милорадовичу – выслать Лабзина из столицы с запрещением въезда туда без особого разрешения. Местом ссылки по указанию министра внутренних дел Кочубея избирается городок Сенгелей Симбирской губернии.
13 ноября больной Лабзин с пожилой женой и приемной дочерью отправился в путь. Несмотря на запрет, многие студенты и преподаватели Академии вышли попрощаться с ним. Все братья из его ложи стояли тут же и хором пели масонский гимн: «Да нашу цепь скрепит вовеки! / Пусть мир падет, иссякнут реки, / Но цепь священна в небесах, / В духовном мире будет зрима, / Крепка, светла, неколебима…»
Лабзин плакал и сквозь слезы увещевал братьев пребывать в твердости. По дороге их перехватил министерский курьер и вручил пакет от князя Голицына. В пакете были 2000 рублей и записка. Князь не мог прийти лично попрощаться с опальным старым другом – государева служба, сами понимаете… Около Москвы коляска с изгнанниками опрокинулась, все седоки упали в грязь. У Лабзина начался припадок, который чуть не свел его в могилу. Жена не могла ему помочь, потому что повредила ногу и не могла ходить. Измученный Лабзин спрашивал у жены: «Снесем ли крест наш, Аннушка?» «Полно, Александр, – отвечала она ему, – Господь креста не по силам не дает». Так добрались они до Москвы, где остановились у старого друга семьи известного доктора и видного масона Матвея Яковлевича Мудрова. На следующий же день в дом явился пристав с повелением немедленно ехать дальше. Дело-то государственное…
В начале декабря Лабзины приехали в Симбирск, где местные масоны встретили их с почетом и наперебой предлагали дорогому гостю свою помощь. Немедля явился полицейский чин с предписанием отправляться в Сенгелей без промедления. Глухой зимой доехали они до места и поселились в простой крестьянской избе. Эта зима была самой тяжелой в жизни Лабзина. «Бысть некая зима, всех зим иных лютейша паче». Александр Федорович думал, что не переживет ее, но Господь не без милости, и вот – уже весна. Братья-масоны неустанно хлопотали об облегчении его участи, и в мае 1823 г. ему разрешено было переселиться в Симбирск. Голицын добился назначения ему пенсии в 2000 рублей ежегодно.
