Давая обобщенную характеристику братьям после своего воцарения на российском престоле, Екатерина II писала: «Орловы блистали искусством возбуждать умы, разумной твердостью, крупными и мелкими подробностями своего поведения, присутствием духа — и авторитетом, благодаря всему этому завоеванным. У них много здравого смысла, щедрой отваги, их патриотизм доходит до энтузиазма, они вполне порядочные, страстно мне преданные, и они дружат меж собою, чего у братьев обычно никогда не бывает; всего их пятеро, но здесь было только трое» [47, 167]. Последние слова относятся к перевороту 1762 г. А вот еще одна ее характеристика, в которой не говорится прямо, к кому она относится, но, безусловно, подразумеваются братья Орловы: «Понятия не имею, что говорят о тех, кто окружает меня, но я достоверно знаю, что это не презренные льстецы и не трусливые или низкие души. Мне известны их патриотические чувства, их любовь к добру, осуществляемая и на практике. Они никого не обманывают и никогда не берут денег за то, что доверие, каким они пользуются, дает им право совершить. Если, обладая этими качествами, они не имеют счастья понравиться тем, кто предпочел бы видеть их коррумпированными — черт возьми, они и я, мы обойдемся и без этого стороннего одобрения» [47, 174].
Известно, что до переворота 1762 г. братья Орловы, по крайней мере трое из них: Григорий, Алексей и Федор, слыли силачами, кулачными бойцами, участниками шумных офицерских попоек в Петербурге и на его окраинах. Четверо старших братьев служили офицерами в гвардии, но троих (Григория, Алексея и Федора) знали во всех полках, им старались подражать, они были идолами офицерской молодежи, что предопределило их решающую роль в организации дворцового переворота.
Существует предание по поводу разгульной жизни молодых гвардейцев Орловых, согласно которому физически с троими из них мог соперничать в Петербурге только сослуживец Алексея по полку — Шванвич (его сын сочинял впоследствии Е. Пугачеву «немецкие указы»). Шванвич мог по отдельности справиться с каждым из братьев, но когда те были вдвоем, победы оказывались на их стороне. В результате неоднократных стычек между ними однажды было заключено условие, исключающее напрасное выяснение отношений: если Шванвич застает в злачном месте одного из братьев, то тот уступает ему все, чем владеет на данный момент, если же братьев двое, то они без спора занимают его место.
Однажды Шванвич, придя в трактир, застал там развлекающегося Федора в обществе женщин, распивающего вино и играющего в бильярд. По договору Федор без сопротивления уступил и женщин, и вино, и бильярд, но вскоре туда явился Алехан. Братья потребовали обратной уступки, однако Шванвич воспротивился и был из трактира вытолкан за дверь. Однако, будучи уже в заметном подпитии, он озлился, спрятался за воротами и, когда братья выходили, нанес Алексею удар палашом. Левая сторона рта была рассечена, Алексея отвели к жившему рядом лейб-медику [43, 80]. По другому рассказу, не столь романтичному, но более правдивому, Шванвич схватился за нож после того, как проиграл А. Орлову в карты. С того времени у Алексея на левой щеке остался на всю жизнь шрам, за что и получил он прозвище «Орлов со шрамом».
