Жизнь нашего героя начиналась в Москве на тихой Малой Никитской улице в Земляном городе, где его отец, бывший новгородский губернатор, Григорий Иванович Орлов владел домом. Известно, что человек возвращается в места своего детства и принимается за старые, некогда любимые им занятия, именно в сложные минуты жизни, когда ему нужна душевная поддержка. В такой поддержке Алексей Григорьевич нуждался. Совсем недавно он потерпел поражение при дворе. С начала 70-х гг. партия Орловых стала терять силу, сначала в противостоянии с Паниными, затем с Г.А. Потемкиным. Наконец, он был вынужден оставить службу. Поняв, что его усилия поколебать могущество светлейшего князя тщетны, Орлов решил надолго обосноваться в Москве, сжиться с московской оппозицией правительству в Петербурге и использовать ее в своих интересах.
Алексей поселился в великолепном доме неподалеку от Донского монастыря, где, согласно традиции, начал держать открытый стол. На его обеды мог без приглашения прийти любой "человек из общества", и лишь, если гость оказывался без мундира, хозяин справлялся о его звании. Открытый стол - одна из отличительных черт быта вельможи XVIII - как бы с самого начала показала москвичам, что граф не собирается прятаться от общества. Более того, любой приехавший в старую столицу дворянин мог рассчитывать на гостеприимство Орлова, что в глазах людей того времени, без сомнения, говорило в его пользу. По воскресным дням в доме у Донского монастыря обедало до 300 человек.
Чтобы привлечь симпатии общества старой столицы, граф стал заниматься устройством любимых развлечений москвичей: скачками, кулачными боями, петушиными драками, псовой охотой. Согласно веяниям времени, он создал свой дворовый театр, поскольку Москва тогда считалась признанной театральной столицей России. В те времена Нескучное было селом. Здесь долгие годы существовал т.н. "воздушный театр" Алексея Орлова, представления давались под открытым небом . Вместительная галерея полукружьем огибала сцену, для которой обсаженные вокруг нее кусты и деревья заменяли декорации. Это нововведение пришлось очень по вкусу московской публике, и на необычные спектакли к графу Орлову стало собираться лучшее общество.
Сад Нескучного Алексей Григорьевич гостеприимно открыл для общественных гуляний, которые так любили москвичи. Расположенный на холмах и взгорьях, разбитый на множество дорожек, искусственных прудов, окруженных купальнями и беседками, этот сад сразу приглянулся московской знати. Летом каждое воскресенье в Нескучном для увеселения публики граф устраивал праздники с фейерверками и угощениями.
