25 декабря 1761 только что вступивший на престол Петр III, хорошо относившийся к Глебову, назначил его генерал-прокурором Правительствующего сената. По поручению императора Глебов подготовил несколько важных законов. Он был одним из авторов известных манифестов: о даровании вольности и свободы всему российскому дворянству и об уничтожении Тайной канцелярии. В феврале 1762 награжден орденом Св. Александра Невского, став таким образом первым александровским кавалером царствования Петра III.
Во время дворцового переворота 1762 Глебов поддержал Екатерину II, которая оставила его генерал-прокурором и поручила совместно с графом Н. И. Паниным руководство только что созданной (на развалинах Тайной канцелярии) Тайной экспедицией, занимавшейся всеми политическими делами. Вскоре положение Глебова при дворе пошатнулось, чему в немалой степени способствовали его сомнительные коммерческие сделки, совершенные еще в бытность обер-прокурором.
3 февраля 1764 императрица сместила Глебова с поста генерал-прокурора, оставив лишь в должности генерал-кригскомиссара. В 1773 «пожалован» в генерал-аншефы. В 1775 получил новое назначение, став смоленским и белгородским генерал-губернатором. Но уже в следующем году ревизия выявила злоупотребления в Главном кригскомиссариате. Глебов был отозван из наместничества, отстранен от всех должностей и отдан под суд. Его признали виновным «в небрежении должности» и исключили со службы.
А. И. Глебов скончался в июне 1790; погребен в своем подмосковном имении Виноградово.
Мало занимаясь организацией работы местной прокуратуры, А. И. Глебов сосредоточил основное внимание на деятельности Правительствующего сената, хозяйственных и финансовых вопросах, в которых он основательно разбирался, подготовке различных узаконений. Именно по этим вопросам к нему поступали многочисленные поручения Екатерины II, которые он исполнял всегда оперативно и аккуратно, в считанные дни давая ответ императрице.
Поручения императрицы Екатерины II генерал-прокурору А. И. Глебову
1762 г. октября 2 дня.
По делам важным, кои касаются до первых двух пунктов и кои принадлежали до Тайной канцелярии, а вступают из разных мест в Сенат, оные распечатывать и определение чинить по оным с ведома нашего вам обще с тайным советником Никитой Ивановичем Паниным, и дела, кои между тем явятся маловажные, оные сжечь, не делая на них сенатских определений.
(Центральный государственный архив древних актов (ЦГАДА), фонд 248, дела канцелярии генерал-прокурора.)
