Но едва царь Федор скончался, все оживилось. Стрельцы вдруг потребовали наказания своим полковникам-притеснителям, пригрозив разграбить их дома, если им не вернут отнятые деньги. Боярская дума, еще не выбравшая нового царя, испугалась остаться без военной поддержки и пообещала выдать полковников на расправу, однако патриарх восстал против подобной меры и его послушались — полковников судили. Было за что! Семену Грибоедову читали такое обвинение: «Били на тебя челом великому государю пятидесятники, десятники и рядовые стрельцы твоего приказа: ты чинил им налоги, обиды и всякие тесноты; для взяток и работ бил их жестоким боем, бил батогами, ругательством…; на огороды и деревни свои на всякие работы посылал стрельцов и детей их…; из государева жалованья вычитал у них деньги и хлеб, отпускал с караулов и за то брал деньги…; деньги на стенной караул и запасы из дворцов брал себе… Будучи в походах, делал им также всякие тягости и на их подводах возил свои запасы. Ты… стрельцов обижал и бил их напрасно».
В следующем веке на битье да крохоборство никто бы и внимания не обратил, но в конце семнадцатого правительство было слабо, а стрельцы чувствовали свою силу. В начале мая полковников Ивана Нелидова, Андрея Дохтурова, Павла Глебова и других били батогами, а полковников Александра Карандеева и Семена Грибоедова — даже кнутом. После порки Грибоедова от службы отставили, поместья отняли и сослали в Тотьму. Стрельцы совсем осмелели, новых полковников не признавали, прогоняли, а самых настойчивых взвели на каланчу и сбросили вниз!
В конце концов первый стрелецкий бунт был подавлен. На престол посадили сразу двух царей — Иоанна и Петра (случай даже для России невиданный). Грибоедову земли вернули, но прежнего значения он не достиг и только под конец жизни, в 1719 году, занял маловажное положение воеводы в Костроме. Наказание кнутом его не образумило — своею резиденцией он, по примеру прежнего костромского воеводы Стрешнева, сделал ратушу, чем вызвал гнев построивших ее купцов. Но при императоре Петре их жалобы остались без рассмотрения.
Семен Федорович жил в своей деревне Хмелитах в Вяземском уезде, в ста пятидесяти верстах к востоку от Смоленска. В 1683 году он выстроил там деревянную церковь. Дом же был самым простым, как бы состоящим из трех изб, соединенных сенями. У полковника не было детей, и в 1706 году, еще при жизни, он передал свои владения племяннику Герасиму, сыну его брата Григория. Эта передача глубоко оскорбила его двоюродных братьев Ивана и Алексея, сыновей Андрея Михайловича. Они очень рассчитывали на наследство дьяка Федора, тем более что имели множество детей, а Герасим был холост. Иван Андреевич начал тяжбу из-за земель, и она тянулась без перерыва более века, пока не сошла на нет за смертью всех потомков. Однако из-за нее Герасим не решался всерьез обосноваться в Хмелитах, а занимался хозяйством у себя в имениях и приумножил наследство.
