Еще более красноречивы свидетельства других нижегородских знакомых Вяземского. Сохранились две оды, в которых местными стихотворцами были воспеты деяния просвещенного наместника. А некая Мария Бакунина в феврале 1797 года сетовала в письме: «Отъезд ваш из Нижнего весь город привел в превеликое уныние».
Смерть Екатерины II положила конец многим карьерам. Но князю Андрею Ивановичу можно было не беспокоиться—с воцарившимся Павлом I его связывало давнее знакомство, которое можно даже отчасти назвать приятельством… Уже 1 декабря 1796 года, спустя 24 дня после смерти Екатерины, император отправляет князю милостивую записку — он награжден орденом Святой Анны I степени. 12 декабря указом Павла наместничества в России упраздняются, и через десять дней Вяземский получает перевод из Нижнего Новгорода в 5-й (Московский) департамент Сената. 5 апреля 1797 года, в день своей коронации, Павел жалует Вяземскому восемь деревень в Нижегородской губернии… Правда, в сравнении с другими возвышениями павловских лет все эти милости не так уж и грандиозны. Анненская звезда — не самый высокий орден в России, а перевод из Нижнего Новгорода в московский Сенат — фактически почетная отставка. Многие ровесники Андрея Ивановича и бывшие помоложе его бодро двигались по служебной лестнице, а он так и оставался в третьем классе Табели о рангах… Он даже начал выведывать, не разгневал ли чем государя. Ответ был: нет, не разгневал.
Словом, положение создалось странное и неприятное для самолюбия. Кончилось все тем, что Андрей Иванович написал государю полное сдержанных упреков письмо, завершил которое фразой: «Скорбящею душою нахожусь вынужден всеподданнейше просить уволить меня от службы». Возможно, Вяземский рассчитывал на то, что пристыженный Павел спохватится и воздаст должное верному слуге, однако император с неожиданной легкостью согласился отпустить давнего знакомца в отставку. Произошло это 28 октября 1798 года. Правда, одновременно князю был все же пожалован давно следовавший ему чин действительного тайного советника.
Просто сидеть без дела Андрей Иванович, разумеется, не мог. Время от времени он возглавлял ответственные сенатские ревизии, стал почетным опекуном Московского воспитательного дома… За деятельность в опекунском совете 6 февраля 1800 года он получил орден Святого Александра Невского, а от императрицы Марии Федоровны — бриллиантовый перстень. Но и из совета князь был уволен в сентябре 1800 года. Тогда же Вяземскому назначили пенсион, о чем ему письменно сообщил Г.Р. Державин.
