Будучи от природы человеком холодным и строгим, он совершенно замкнулся в себе после пережитой им личной трагедии: его молодая, горячо любимая жена умерла через год их совместной жизни от «родильной горячки», как тогда говорили. Сперанский был безутешен, всерьез думал о самоубийстве. Его удалось отговорить только напоминанием о том, что новорожденная дочь окажется в этом случае круглой сиротой. Сперанский никогда после этого не знал женщин, чуждался их общества «и до гроба ни с одною молвить слова не хотел». Он вел жизнь затворника, не зная сильных страстей, не ведая обыкновенных земных радостей. Все это еще больше способствовало его самоизоляции в выморочном мире рассуждений, логических построений, книжных выкладок и умозрительных схем. Его нельзя было ни купить, ни запугать, ни очаровать, ни прельстить. Светской публике он казался некоей механической куклой. Сейчас его бы назвали роботом. Вряд ли такой человек мог быть популярен…
Что же касается его проектов, то в них усматривали чуть ли не революционную опасность. На кабинет Сперанского, по словам Ф.Ф. Вигеля, «смотрели все, как на ящик Пандоры, наполненный бедствиями, готовыми излететь и покрыть собою все наше Отечество». Тот же Вигель писал позднее в мемуарах, что когда он разговаривал со Сперанским, то «…явственно чувствовал запах серы и видел в голубых глазах Сперанского синий огнь адский». Каково?! Граф Ф.В. Ростопчин вспоминал, что имя Сперанского дворяне ставили «рядом с именем Мазепы» и строчили на него доносы царю как на изменника. Ростопчин был одним из самых омерзительных персонажей эпохи. «Паркетный шаркун», придворный лизоблюд и «всеобщий предатель», он писал доносы едва ли не на всех своих знакомых, так что хорошо знал, о чем говорил. Однако скрытыми недоброжелателями и открытыми врагами Сперанского выступали отнюдь не только столь одиозные персонажи. Его заклятыми недругами были и весьма достойные люди, в том числе многие вольные каменщики.
Причиной этому была неуемная страсть Сперанского к «всеобъемлющему порядку», его желание все поставить под государственный надзор и при этом лично все контролировать. Характерный эпизод – история с ложей «Полярная звезда». Ложу эту основал в Петербурге немецкий богослов Игнатий Аврелий (Игнац Аурелиус) Фесслер. Это был человек удивительной, феерической биографии. Он окончил иезуитский коллегиум, стал монахом ордена капуцинов (ученая элита католического монашества), преподавал в университете Лемберга (Львова), где получил степень доктора богословия. Написал несколько книг по грамматике восточных языков, в том числе учебник для изучения библейского иврита. Переехал в Германию, где перешел из католичества в лютеранство и стал пастором. Вступил в масоны, написал несколько книг по истории масонства, основал «Общество друзей человечества» (!) и «Общество научных масонов».
