В феврале 1762 года Глебова наградили орденом Святого Александра Невского — он стал первым александровским кавалером в царствование Петра III.
Генерал-прокурор работал много и неустанно. Каждый день к 8 часам утра он являлся во дворец с докладом к императору. Фактически Александр Иванович стал посредником между государем и Сенатом, почти все поручения Сенату были написаны рукой Глебова и только подписаны Петром III.
Однако время пребывания Глебова в должности генерал- прокурора оказалось весьма недолгим и довольно бесцветным. Оно характеризуется почти полным отсутствием «доношений» от представителей местной прокуратуры. А те немногие, которые к нему поступали, он обычно направлял в Сенат, не делая никаких предложений. Видимо, больше его занимали другие проблемы.
О корыстолюбии Глебова и даже императора рассказывала, в частности, княгиня Дашкова. Однажды Глебов, а также сенаторы Мельгунов и Нарышкин получили от некоего Хорвата по две тысячи дукатов каждый за то, что обещали поспособствовать решению его вопроса в Сенате. Когда они сообщили об этом Петру III, он не только не возмутился лихоимством своих вельмож, но даже похвалил их за то, что не скрыли от него подарков, и потребовал себе половину. После этого Петр III самолично отправился в Сенат и решил дело в пользу Хорвата.
Будучи опытным царедворцем, хитрым и изворотливым (современники называли его «человеком с головой»), А. И. Глебов очень тонко оценил обстановку во время дворцового переворота 2 года и, несмотря на привязанность к Петру III, сразу же поддержал Екатерину II. Поскольку он обладал не только исключительными способностями, но и трудолюбием, императрица, знавшая о его дурных наклонностях и корыстолюбии, продолжала держать Глебова на высшем прокурорском посту. Более того, она поручила ему вместе с графом Н. И. Паниным руководство только что созданной Тайной экспедицией, расследовавшей все политические дела.
Почти не занимаясь организацией работы подчиненных ему прокуроров, Глебов сосредоточил все внимание на деятельности Сената, хозяйственных и финансовых вопросах, подготовке различных узаконений. Именно в этом состояли многочисленные поручения императрицы, которые он исполнял очень оперативно, в считанные дни. Например, по предложению Екатерины II он подготовил специальное узаконение, направленное на борьбу с лихоимством судей и чиновников.
Но вскоре его положение при высочайшем дворе пошатнулось, чему в немалой степени способствовала всплывшая вдруг история с винным откупом в Иркутске. Императрица, услышав о скандальном деле, своим указом приказала «окончить следствие» и взяла его под личный контроль.
