Пожинать плоды побед отважного генерала не пришлось. 25 декабря 1761 года скончалась императрица Елизавета, что явилось нашумевшим «чудом для бранденбургского дома». На престол вступил император Петр III, буквально влюбленный в прусского короля Фридриха II. Он заключил с Пруссией абсолютно невыгодный для России мир, отозвал войска генерала Чернышева, а потом еще переподчинил Фридриху русский корпус.
Правил Петр III всего полгода и, как известно, был свергнут с престола женой, будущей императрицей Екатериной II. Новая царица осыпала графа З. Г. Чернышева благодеяниями. Он был возведен в чин генерал-аншефа и в самый день коронации государыни получил высший орден Российской империи – орден Святого Андрея Первозванного. И к тому же еще особая милость: на обряде коронации граф состоял верховным церемониймейстером.
В 1773 году граф Захар Григорьевич Чернышев произведен в генерал-фельдмаршалы и назначен президентом Военной коллегии. 15–16 сентября 1775 года Екатерина II гостила в Яропольце у графа-фаворита. В честь этого события в ярополецком парке воздвигли памятную колонну, сохраненную временем до наших дней, устроили фонтаны, парковые беседки и многочисленные павильоны.
В эти годы пост президента Военной коллегии переходит к энергичному Г. А. Потемкину, а графа З. Г. Чернышева определяют на пост генерал-губернатора Белоруссии. Здесь Чернышев уделяет максимум внимания дорогам, как Белоруссии, так и соединяющим ее с главными городами России. До сих пор там славятся сохраненные временем так называемые «екатерининские тракты» – мощенные камнем дороги, обсаженные вековыми березами. В 1780 году Екатерина II, проезжая по Белоруссии, сказала фельдмаршалу: «Если бы я сама не видела такого устройства Белоруссии, то никому бы не поверила, а дороги ваши – как сады».
В 1782 году генерал-фельдмаршал граф Чернышев назначается генерал-губернатором Москвы. В том же году его награждают орденом Святого Владимира I степени, в самый день учреждения этого ордена. Интересно отметить, что эскиз этого почетного ордена выполнил известный русский зодчий, музыкант и поэт Н. А. Львов. На посту главнокомандующего Москвы за два года Чернышев успел полезно преобразовать управление города и украсить Москву новыми зданиями. В частности, он выстроил для себя дом на Тверской (нынешнее здание мэрии), позже выкупленный казной. Граф З. Г. Чернышев являлся почетным членом Российской академии наук. Он похоронен в Яропольце, в храмовой усыпальнице. Мраморная надгробная плита сохраняется в местном Народном музее.
