Явного повода для дуэли не возникло, однако князь Трубецкой посоветовал ему перейти на службу поближе к дому, под присмотр отца, и отчаянный драгун, к своему позору, оказался в Ярославском пехотном полку.
Надежды родных угомонить молодца не оправдались. Зиму 1782/83 года Сергей решил провести во Владимире, где сошелся с веселой компанией мотоватых помещиков. Конечно, то не были шулеры, но все вместе они вовлекли в игру несовершеннолетнего Никиту Волкова и обыграли его на четырнадцать тысяч рублей, начисто разорив. Тот состоял под опекой прокурора Сушкова, и последний поднял страшный шум. По екатерининскому постановлению никто не обязан был платить долги, сделанные за карточным столом, напротив, взыскание подобных долгов было преступлением. Но в дворянском обиходе то обстоятельство, что карточные долги можно было не признавать, привело к обратному желаниям властей действию: человек мог отказываться рассчитаться с портными и купцами, бегать от кредиторов, не теряя достоинства, но карточный долг — долг чести — он был обязан уплатить. Проигравшийся дворянин скорее пускал себе пулю в лоб, чем соглашался прибегнуть к помощи закона. Никита Волков не желал лишаться уважения общества на самой заре жизни, Сушков же требовал наказания компании Грибоедова. В эту скандальную историю пришлось вмешаться владимирскому губернатору Роману Ларионовичу Воронцову, некогда содействовавшему утверждению дворянских вольностей манифестом 1762 года. Воронцов предложил дело замять, но обязать игроков возместить ущерб, нанесенный юнцу.
Иван Никифорович был взбешен, и если бы не вмешательство Прасковьи Васильевны, всегда баловавшей младшего сына, Сергею дорого бы стоили его картежные похождения. Но он легко отделался, а в 1785 году предпочел выйти в отставку в чине секунд-майора. Отец наотрез отказался оплачивать долги сына, своего имения у него не было, — оставалось выгодно жениться. Несколько лет он гостил то у сестры Палицыной в селе Афанасьеве, то у родни во Владимире или в Москве, но никак не мог найти богатую невесту, достаточно непредусмотрительную, чтобы передать все состояние в руки закоренелого мота без гроша за душой.
Среди московской родни были и дальние его родственники, семья Федора Алексеевича, к дочерям которого Сергей присматривался с затаенным интересом, но при жизни их отца не смел и надеяться на счастье. Когда же тот умер, Сергей поспешил с утешением к его вдове. Останавливаться в Хмелитах, где больше не было мужчин, он не мог, но как только Марья Ивановна переселилась в Москву, начал посещать ее дом. Желание Марьи Ивановны побыстрее отделаться от дочерей сыграло ему на руку, и в 1791 году он посватался за Настасью Федоровну и получил согласие, став обладателем заветных четырехсот душ. Брат Настасьи мог бы вмешаться, но жена его тогда жестоко страдала, за ее жизнь опасались, и ему было не до семейных проблем.
