Дела графа шли в гору, он был приближен и обласкан. Рассказывали, что самодержец даже наградил его своим портретом, вырезанным на кости, написав при этом: «Посылаю тебе мою рожу своей работы». Но через два года после смерти великого деда российский трон достался сыну «злодея и губителя». А Меншиков, деятельно тому способствовавший, — ведь свою дочь он хотел обручить с малолетним Петром II — не упустил случая расправиться с ненавистным ему сенатором. Граф Петр Андреевич был лишен всех титулов и состояния, а кнута избежал только в силу преклонных лет. Казнь заменили вечной ссылкой на Соловки, в монастырь, служивший и политической тюрьмой. Иван, старший сын, последовал за ним, и оба вскоре умерли «под крепким караулом», означавшим, среди прочего, что кандалы запрещено снимать, даже когда содержащихся под стражей приводят в церковь.
Среди бумаг Толстого есть выписки из этого судебного дела, сделанные в архиве Министерства юстиции; они, надо думать, потребовались в связи с замыслом романа из петровского времени. В «Воспоминаниях», однако, нет ни слова о сановнике, у которого кабинет был увешан иконами, но в уголке, подальше от любопытных глаз, висела итальянская картина с изображением обнаженной пышнотелой девицы. О внуке его, Андрее Ивановиче, которого по малолетству не тронули, когда расправлялись с дедом, а заодно и с отцом, известно мало. Воевода в Свияжске, затем в Суздале, он, по семейным преданиям, отличался большой чувствительностью и обожал жену, которая вышла за него неполных четырнадцати лет и одарила двадцатью тремя чадами, часто умиравшими в очень нежном возрасте. Выжило одиннадцать. А некоторые из внуков Андрея Ивановича стали знаменитыми: Федор Петрович Толстой, гравер и медальер, вице-президент Академии художеств, и поэт Алексей Константинович.
Впрочем, прижизненной славой их обоих превзошел третий внук, Федор Иванович, прозванный Американцем, тот самый, которому посвящены вошедшие в пословицу строки Грибоедова: «Ночной разбойник, дуэлист, в Камчатку сослан был, вернулся алеутом и крепко на руку нечист». Ребенком Толстой видел его в Ясной Поляне и запомнил это «прекрасное лицо, бронзовое, бритое, с густыми белыми бакенбардами до углов рта, и такие же белые курчавые волосы». Человеком он был на самом деле необыкновенным, «преступным и привлекательным», как написано в «Воспоминаниях». Отправился в 1803 году с Крузенштерном в кругосветное плавание на паруснике «Надежда», после ссоры с командиром экспедиции был, по слухам, высажен на острове и жил среди диких племен, где покрыл все тело татуировкой. Его двоюродная племянница Мария Каменская, которая в свое время была довольно известным литератором, вспоминает, как Американца, когда он бывал в Царском Селе у ее деда, упрашивали показать необыкновенные украшения на своем теле: снять перед дамами рубашку, а потом продемонстрировать кавалерам и все остальное. Его не приходилось долго упрашивать. И присутствующие могли рассмотреть на его груди большую пеструю птицу вроде попугая, а на плечах змей.
