Одной из самых популярных московских забав, посмотреть на которую охотно собирались не только мужчины но и дамы, были кулачные бои. Они устраивались обычно в зимнее время под старым Каменным или Троицким мостом. Еще мать Петра I царица Наталья Кирилловна любила ездить сюда в санях и любоваться удалью сражающихся. От небольшой запруды речка Неглинная в этом месте образовывала пруд, тянувшийся во всю длину современного верхнего Кремлевского сада. На льду искусственного водоема происходила любимая народная потеха.
Орлов не только сам участвовал в боях, причем очень часто выходил из поединков с победой, но и организовал первую в России школу для кулачных бойцов, куда отбирал мужиков из соседних деревень и своих крепостных. Создание профессиональной школы и введение в борьбу жестких правил, не позволявших калечить противников, сразу принесло Алексею огромную популярность. Публика специально собиралась болеть за графа - кулачного бойца. Первый Георгиевский кавалер, ближайший друг и сподвижник Екатерины II не гнушался выходить на утоптанный и посыпанный опилками снег, чтоб принять участие в любимой народной потехе. Алексей стал кумиром. Его примеру последовали и другие представители благородного сословия, давно мечтавшие, но не решавшиеся переступить через грань приличий.
Школой кулачных бойцов Алексей Григорьевич занимался всерьез. Он отвел для нее помещение в своей городской усадьбе, где проводились тренировки. Английский путешественник Уильям Кокс, посетивший Москву в конце 70-х гг. XVIII в., описал одну из таких тренировок в доме графа Орлова. Кокс был очарован Алексеем и тем, как граф умел управлять огромной толпой собравшихся бойцов. "В одно время между собою могли бороться только двое, - писал англичанин, - на руках у них были одеты толстые кожаные перчатки... Положения у них были совсем иные, чем у борцов в Англии... Когда же иной боец своего противника валил на землю, то его объявляли победителем, и тот час же прекращалась борьба этой пары... Иные из бойцов отличались необычайной силой, но их обычай в бою мешал несчастному случаю, также мы не заметили перелома руки или ноги, которыми обычно кончаются бои в Англии". Кокс с увлечением сравнивал русские приемы единоборства с английскими. Интересно, что при глубокой несхожести культур жители России и Британских островов отдавали предпочтение одним и тем же видам развлечений - бокс и лошади.
Приехав в Москву, Алексей организовал бега на поле под Донским монастырем. Он первым ввел моду кататься по городу в легких беговых санках с русской упряжью. Место, избранное им для катаний, было очень удобно, и многие московские аристократы обращались к нему за разрешением принять участие в бегах. Граф ни кому не отказывал, но ставил условие употреблять русскую упряжь. С этого времени знать старой столицы отказывается от тяжелых вызолоченных немецких саней, очень неудобных для движения на улицах города.
