Свободу получил и Петр Грузинов, который, однако, вернулся не на службу, а домой в Черкасск. Это была ссылка, хотя и «домашняя». Присмотр за младшим из вольнодумных Грузиновых поручили атаману Войска Донского Дмитрию Иловайскому, заступившему на должность после смерти брата Алексея.
Несправедливость в отношении младшего брата не давала покоя старшему Грузинову. Вскоре он перестал появляться на службе, чем вызвал новые подозрения. Павел I поручил своему любимцу Христофору Ливену выяснить, намерен ли Грузинов продолжать службу. Состоялся обмен письмами, из которого следует, что Евграф Грузинов объяснял свое отсутствие болезнью и отмечал желание продолжить придворную службу. Император своему полковнику не поверил и приказал провести медицинское обследование. Штаб-лекарь Оберх признал Грузинова совершенно здоровым. За «ложное рапортование себя больным» старшего Грузинова отправили вслед за младшим.
Саботаж Грузинова был осознанным и обреченным. Благородство и братская любовь не позволили ему равнодушно вернуться к служебной рутине. Чувства оказались сильнее разума, а семейные узы крепче служебной привязанности.
Был ноябрь 1798 года, когда Евграф Грузинов вернулся в родной Черкасск. Возвращение-ссылка не могло стать приятным, но оказалось совсем мрачным. Отца — Осипа Грузинова — разбил паралич. Евграф замкнулся в себе и сторонился соседей, старых знакомых. Добровольно затворившись в отцовском доме, он погрузился в долгие и, вероятно, тяжелые размышления. Отшельничество нарушалось только свиданиями с братом Петром.
Спустя полтора года Евграф Грузинов решил отправиться в еще одну ссылку — на чердак. Пища полковника была под стать жилищу — хлеб и вода. Здесь он проводил все время за чтением книг, которые изучал, раскуривая трубку, и «никого к себе не допущал». Что же читал Грузинов? Историку Владимиру Лесину удалось обнаружить этот библиографический список. Всего 30 томов, в основном исторические и философские сочинения: вольноотпущенник Эпиктет, биограф Александра Македонского Квинт Курций Руф, собиратель исторических анекдотов Валерий Максим, знаменитый скептик Мишель Монтень, выдающийся ученый-патриот Михаил Ломоносов и первый российский историк, получавший жалованье за изучение прошлого, Готлиб Байер. Сочинения последнего особенно интересны, так как содержат сведения о донском казачестве.
Байер указывал на древнее происхождение казачества. «…Казаков можно было почитать за древний народ»; они еще «в 948 году жили в нынешней Кабарде близ Кавказских гор, где они от великого князя Мстислава в Российское подданство приведены были», — писал ученый немец. Историк считал казаков продуктом смешения представителей различных народов, волею судеб оказывавшихся среди сынов вольного Дона. Он отмечал, что казаки «всегда принимали россиян, поляков и других, которые у них искали прибежища». Еще важнее красноречивость общей оценки Байера: «Казаки почитались всегда за храбрый и сильный народ».
