По возвращении в Санкт-Петербург ему устроили грандиозную встречу. В память этого события в Царском Селе была возведена триумфальная арка с надписью: «Орловым от беды избавлена Москва» и выбита медаль с изображением Курция, бросающегося в пропасть: «И Россия таковых сынов имеет».
Неурядицы начались годом позже. После неудачи Орлова на переговорах с турками Екатерина повелела своему любимцу выехать в Гатчину, куда он покорно и отправился. Женщина, по-прежнему любившая Григория Орлова, боролась в Екатерине с императрицей и государыней. В письмах к князю Г. А. Потемкину она неоднократно просит не отзываться дурно о Григории Григорьевиче и между прочим признается, что никак не может забыть его ласк.
Память о былой нежности вскоре нашла свое материальное выражение в виде пенсии в 150 000 рублей, стотысячной суммы на постройку нового дома, а также права жить во всех дворцах Империи, кроме петербургских.
Влияние его и братьев продолжало неуклонно падать, даже и после возвращения Григория Орлова в Петербург. 24 ноября 1773 года, в день тезоименитства императрицы, экс-фаворит поднес ей чудесный, невероятной чистоты и небывалых размеров алмаз, составляющий ныне украшение российского императорского скипетра. В 1775 году Григорий Орлов выходит в отставку, а годом позже, сохраняя верность имени, венчается с Екатериной Николаевной Зиновьевой — своей двоюродной сестрой. Брак этот, считавшийся всеми противозаконным, был спасен императрицей, удостоившей 19-летнюю фрейлину в статс-дамы и наградившей ее орденом святой великомученицы Екатерины Большого Креста, — спасен, однако, ненадолго. Молодая супруга Орлова отличалась золотым характером и плохим здоровьем, вскоре у нее обнаружили признаки чахотки. Не помогли ни лучшие европейские врачи, ни богатство, ни связи — она скончалась через шесть лет после венчания, не оставив потомства.
Смерть ее надломила Григория Григорьевича и, в конечном счете, привела его к полному помешательству. Екатерина II не раз приезжала к больному, ухаживала за периодически впадавшим в буйство князем, и тут намечается любопытное сближение некоторых разделенных эпохами и условностями фигур…
Четвертый по старшинству из братьев Орловых — Федор Григорьевич — произвел на свет сына, заслуживающего, по совести говоря, отдельного жизнеописания. Но прежде стоит вспомнить, что и сам Федор Григорьевич оказал влияние на ход русской истории. Участник заговора 1762 года, он был возведен вскоре в графское достоинство; в 1763 году Орлов уже стал 4-м обер-прокурором Сената; затем в чине генерал-майора участвовал в экспедиции русского флота в Архипелаг. Под предводительством своего старшего брата Алексея Орлова-Чесменского, он произвел высадку в греческой провинции Морее и с ходу, с горсткой людей, взял несколько крепостей неприятеля. В Морее братья Орловы провоцировали восстание греков, возглавить которое должен был Федор Григорьевич. И хотя восстание размаха не получило, вплоть до начала XIX века греки считали Федора Орлова своим национальным героем.
