Сам Толстой прекрасно понимал подлинный смысл своей предстоящей работы. В октябре 1837 года Толстой заступил на свою должность, которую исследователь пушкинского времени Б.Л. Модзалевский охарактеризовал так: «Должность его была загадочная и неопределённая».
Занимаемое им место не относилось к служебным, но он получал чины и ордена. Личное его дело хранилось в Министерстве просвещения, но он числился по особым поручениям в Третьем отделении. Сам он говорил о своей должности как о «единственном месте, не определённом штатами, – для защищения России в журналах и опровержения противных ей статей». Ежегодно он посылал в Петербург депеши, которых в архиве Министерства просвещения не оказалось. Корреспонденция Толстого из Парижа была обнаружена в архиве Третьего отделения уже после 1917 года. Помимо регулярных обзоров европейской прессы и годовых отчётов она включает также рапорты и памятные записки, освещающие его разведывательную деятельность во Франции. Успех деятельности Толстого отметил прибывший в Париж в декабре 1838 года чиновник по особым поручениям Третьего отделения А.А. Сагтынский, ведавший заграничным политическим сыском.
Через свои связи Толстому удавалось предотвращать издание во Франции сочинений, в которых российская действительность подвергалась критике людьми, хорошо знавшими её изнутри. Так, в 1839 году, когда в «Журналь де деба» начали выходить очерки о России одного из потомков рода Демидовых, оказавшегося во Франции, Толстой провёл с автором «разъяснительную беседу», после которой публикации прекратились. В глазах большинства русских, обитавших в Париже, он слыл чудаковатым и хлебосольным эмигрантом, ведущим праздную жизнь на деньги, присылаемые из родового имения. Он завоевал доверие Бакунина и внимательно следил за его связями с польскими и немецкими революционерами, включая молодого Карла Маркса.
В феврале 1848 года, когда во Франции началась революция, о приближении которой Толстой писал с 1844 года, ему пришлось срочно покинуть Париж и перебраться в Брюссель. При обыске в архивах МВД и префектуре Парижа новое революционное правительство обнаружило документы, косвенно свидетельствующие о контактах французской полиции с Третьим отделением, которые шли через Толстого. Однако, когда схлынула первая волна революционной активности, оказалось, что в министерства и парламент Франции пришли многие прежние друзья Якова Толстого. Он снова вернулся в Париж и с неутомимостью развил активную деятельность, почти ежедневно направляя в Россию краткие шифровки.
