В мае 1778 года Зорич получил окончательную отставку. Вернувшись из-за границы, он получил, по заведённому обычаю, подарки. Имение Шклов Екатерина выкупила для него у Чарторыйского за 450000 рублей. Ещё подарила 7000 душ крестьян, деньги. Наверное, и тут не обошлось без серебряного сервиза.
В Шклове Семён Зорич зажил очень широко, эдаким безудержным в тратах барином. Он словно старался возместить себе сполна за бедную юность, добрать в счастье за потерянные годы в Семибашенном турецком замке. Теперь в его усадьбе бесконечный роскошный праздник: гости, пиры, балы, маскарады, тройки, карусели, фейерверки, охота, большая игра — и всё это широко, без удержу. Но государыню он чтил, всегда отмечал и дни рождения её, и тезоименитство. В ноябре 1778 года он в честь Екатерины основал Шкловское благородное училище для дворянских детей. Матушка-императрица изволила два раза посетить Шклов во время её поездки в Могилёв. Зорич расстарался встретить её достойно: дом заново отремонтировали, из Саксонии был выписан роскошный сервиз. Государыню Зорич встретил у заранее построенной триумфальной арки, а вечером была представлена немецкая комическая опера, далее бал, ужин и фейерверк.
Как ни был Зорич богат, ему всё-таки удалось промотать своё огромное состояние. В карты ему везло, сочинили даже легенду, что он шулер. Вряд ли… Это как в анекдоте про фальшивомонетчика: «Из двух золотых сделал один и попал на каторгу». По мнению современников, Зорич проигрывал больше, чем выигрывал. Деньги сожрала ещё неумеренная роскошь, слишком много гостей, желающих пожить за чужой счёт. Среди гостей были и вовсе непотребные люди, вот их имена: польские графы Аннибал и Марк Зановичи. Они были виновниками аферы с печатанием фальшивых ассигнаций. Расследовать дело явился сам Потёмкин. Братья во всём сознались, их арестовали. Зорич к их афере никакого отношения не имел, но то, что пригрел в своём доме преступников, тоже есть вина.
В 1784 году Семён Гаврилович был вынужден подать в отставку. Теперь было не до шика, денег осталось только на содержание училища, и он целиком отдался работе. Училище не называлось военным, но все признаки военного воспитания были налицо. Ученики составляли эскадрон из двух взводов — кирасирского и гусарского, а также три роты пехоты: две роты были гренадерские и одна егерская. Любимая игра взрослых мужчин в солдатики, но я думаю, что и юные дворяне играли в неё с удовольствием. Вначале учеников было 150, потом число их возросло до 300 мальчиков. Сам Зорич в училище был и военным начальником, и директором.
