Сперанского люто ненавидела подавляющая часть дворянства. Своей активной деятельностью госсекретарь раздражал при дворе многих. Ими велась и соответствующая работа по дискредитации реформатора с целью смещения госсекретаря, что было непросто, так как он все еще пользовался доверием государя. Император же в этой ситуации, похоже, пытался усидеть на двух стульях. Он пошел на полумеры. И Госсовет учредил, и Ростопчина назначил. Вот в какой обстановке произошло возвращение Федора Васильевича на государственную службу.
Противники Ростопчина использовали того для борьбы против Сперанского, которого в чем только не обвиняли: в краже документов, в шпионаже, продаже российских интересов за польскую корону, обещанную ему Наполеоном, и т. п. Ростопчин сумел облечь обвинения против Сперанского в «научную» форму, написав в 1811 году «Записку о мартинистах», то есть масонах. Кому как не Ростопчину было писать эту записку. Еще в 1796 году, разбирая архив покойной императрицы, тот обнаружил секретные бумаги о масонском заговоре с целью убийства Екатерины и довел эти сведения до Павла. После чего император в 1799 году запретил масонские ложи в России.
По Ростопчину, получалось, что тайные общества никуда не исчезли, а лишь на время законспирировались. А Сперанский и есть главный покровитель масонов, вражеского общества «нескольких обманщиков и тысяч простодушных жертв», «поставившего себе целью произвести революцию… подобно негодяям, которые погубили Францию». Злободневность записке придало и упоминание Наполеона, «который всё направляет к достижению своих целей, покровительствует им и когда-нибудь найдет сильную опору в этом обществе, столь же достойном презрения, сколько опасном». Записка получила широкое распространение и дошла до адресата, которому она и была предназначена, хотя поначалу писалась для его сестры Екатерины Павловны.
Как Ростопчин попал на должность московского военного генерал-губернатора? Случилось это после встречи с Александром в марте 1812 года. Все произошло как бы случайно: «Накануне войны я решился поехать в Петербург, чтобы предложить свои услуги государю, — не указывая и не выбирая какого-либо места или какой-нибудь должности, а с тем лишь, чтобы он дозволил мне состоять при его особе. Государь принял меня очень хорошо. При первом свидании он мне долго говорил о том, что решился насмерть воевать с Наполеоном, что он полагается на отвагу своих войск и на верность своих подданных».
