Дворцовое прозвище Мамонова экзотично и мрачновато — Красный Кафтан, ассоциативно прозвище отсылает куда-то в мрачные времена Ивана Грозного, но всё совсем не так, просто Александр Матвеевич обожал свой малиновый бархатный кафтан, которые ему очень шёл. «Под красным кафтаном скрывается, — пишет Екатерина Гримму, — превосходнейшее сердце, соединённое с большим запасом честности; умны мы за четырёх, обладаем неистощимой весёлостью, замечательной оригинальностью во взглядах на вещи, в способе выражения удивительной благовоспитанности».
Первое время она присматривалась к молодому человеку, особенно не обольщаясь на его счёт. Умён — несомненно, образован, хорошо рисует, книжки почитывает, но слишком скромен, нельзя понять, пригоден ли он к государственной службе. Через пять месяцев (1787 год) императрица взяла его с собой в поездку в Крым и за полтора года самого тесного общения изменила о нём своё мнение. В царском картёже было много важных особ и даже, как уже сообщалось, два императора. Мамонов со всеми умел находить общий язык, в беседах был раскован, обходителен, словом, им можно было гордиться. Екатерина решила, что будет готовить своего любовника на роль вице-канцлера в помощь Безбородко. Она исходатайствовала для него титул графа Священной Римской империи и даже повелела ему присутствовать на совете. Но не тут-то было, молодого человека совершенно не интересовали государственные дела, к ним у него и сердце не лежало, да и способностей не было.
Будущий канцлер Безбородко, а тогда статс-секретарь императрицы относился с Мамонову крайне насторожённо, обвиняя его в деспотизме и злобном характере. Сравнивая Ланского и Дмитриева-Мамонова, он писал приятелю своему Воронцову в Лондон: «Ланской, конечно, не хорошего был характера, но в сравнении сего, сущий ангел. Он имел друзей. Не усиливался слишком вредить ближнему, о многих старался, а сей ни самим приятелям своим, никому ни о чём помочь не хотел. Я не забочусь о том зле, которое он мне наделал лично, но жалею безмерно о пакостях, от него в делах происшедших, в едином намерении, чтоб только мне причинить досады».
Может быть, это письмо было написано под горячую руку? М. Гарновский, секретарь Потёмкина, в своём дневнике от 1787 года написал: «Александр Матвеевич много может, нет в сём ни малейшего сомнения. Никто из предшественников его не в состоянии был поколебать власть докладчика, а он оную колеблет». Докладчиком в данном случае был Безбородко. Иностранцы тоже снисходительны к Мамонову. Сегюр, например, отзывается о нём очень хорошо, князь де Линь подчёркивает раскованность и непринуждённость Мамонова в поведении с императрицей, он-де один «говорит ей правду», то есть позволяет себе спорить и иметь собственное мнение.
