Крестьяне в Хмелитах не бунтовали. Федор Алексеевич был рачительный хозяин, крепостным спуску не давал, был щедр на плети, но не злобствовал и лишнего не требовал, оброк устанавливал по силам, расчетливо оберегая свои будущие доходы. Жена его была к дворовым строга, могла и собственноручно отшлепать башмачком, держала себя высоко, настоящей барыней — никто при ней и пикнуть не смел. Но все это было в порядке вещей, и, в общем, господ уважали. Когда Пугачева схватили и привезли в 1775 году в Москву, многие дворяне ездили смотреть, как его будут казнить. После соседки рассказывали Марье Ивановне: «Мы были так счастливы, что карета наша стояла против самого места казни, и все подробно видели…» Но Федор Алексеевич возмутился: «Не только не имел желания видеть, как будут казнить злодея, но и слышать-то, как его казнили, не желаю и дивлюсь, как это у вас хватило духу смотреть на такое зрелище».
Он был добр и обходителен. Тогда было обыкновение к обеду и праздникам приезжать со всеми людьми, на тройках и четвернях, и загащиваться по нескольку дней. Для хозяев это было иной раз накладно, но Грибоедов сзывал гостей часто и ко всем был приветлив, говаривал: «Он мой сосед и такой же дворянин, как и я; приехал ко мне в гости, сделал мне честь — моя обязанность принять его радушно».
Со всеми соседями Федор Алексеевич жил в согласии, кроме владельца ближайшего к Хмелитам села Григорьевского Михаила Богдановича Лыкошина. Тот в 1782 году, разбогатев женитьбой, пожелал построить у себя в имении церковь и сделать ее центром нового прихода, о чем подал прошение епископу Смоленскому и Дорогобужскому. Грибоедов возмутился, счел выходку Лыкошина оскорбительной для себя и хмелитской приходской церкви. Епископ принял сторону важного бригадира и Лыкошину не только отказал, но и обсуждать его просьбу не стал. С тех пор соседи друг к другу не ездили, но с прочими Лыкошиными, в том числе с братом Михаила Богдановича Иваном, Федор Алексеевич продолжал общаться.
Дети Грибоедовых дружили между собой. Старший — Алексей — находил большое удовольствие в обществе сестриц: запрягал их в вожжи с бубенчиками и гонял до изнеможения по дому и саду, и был жестоким мучителем кукол. Девочки умирали от усталости и пылали гневом, но от игр с ним не отказывались. Учились тоже вместе. Занятия в классной комнате начинались еще до завтрака и продолжались все утро. Учились говорить и писать по-французски и по-немецки и немножко даже по-русски, изучали историю, географию, мальчика отдельно обучали математике, астрономии и мало ли чему еще. Самыми важными были уроки музыки и танцев. К урокам танцев приезжали соседки с детьми, и девочки от души веселились, прыгая под музыку. Для них танцы были единственной возможностью подвигаться. Мальчишки же не любили этих уроков. Свою ловкость они проявляли на охоте, куда ходили вместе со старшими, вооруженные настоящими маленькими ружьями. По утрам они много времени проводили в манеже, падая со своих пони, и потому не имели желания и сил крутиться в бальной зале.
