Кто будет нравами благими удивлять,
Себе и обществу окажется полезен —
Будь барин, будь слуга, но будет мне любезен.
Но при такой бурной деятельности конфликты неизбежны. Уже в мае 1786 года епископ Феодосий, как раз строивший свою резиденцию в Тамбове, сообщал в письме к Гудовичу, что желал бы занять весь городской квартал, в котором находилась резиденция с садами и огородами. Гудович согласился и дал распоряжение Державину. Но тот ответил, что эта земля принадлежит городу и отнимать ее у горожан никто не имеет права, и предложил предоставить епископу другое место. Епископ возражал, доказывая, что горожане самовольно стали строиться на территории, примыкавшей к его резиденции, и теперь он опасается пожара. Неизвестно, чем бы закончилась эта история, если бы епископ не умер в декабре того же года. Но Гудович понял, что новый, слишком активный и принципиальный губернатор может вовлечь в неприятности не только себя, но и его.
Затем Державин попытался вывести на чистую воду купца Бородина, беззастенчиво присваивающего казенные деньги. Бородин пользовался покровительством Гудовича, и тот в споре встал не на его сторону. Державин составил доклад о мошенничестве Бородина и подал его в Сенат летом 1788 года, но Гудович в ответ тоже обвинил Державина и наместническое правление — они-де проявили пассивность и на смогли расследовать это дело вовремя.
В ноябре 1786 года по поручению Гудовича Державин организовал закупку и поставку хлеба в столицу. На казенные деньги в сумме 100 000 рублей, присланные от Санкт-Петербургского вице-губернатора Н.Н. Новосильцева, Державин приобрел 25 тысяч четвертей хлеба (сэкономив при этом 29 255 руб.) и поручил купцу Наставину с товарищами доставить его в столицу водным путем. Для охраны хлеба он снарядил вместе с купцами военный конвой. Но путешествие было не из легких: судно несколько раз ломалось, часть хлеба утонула, часть оказалась подмочена, его пришлось сушить и пересыпать. В итоге караван остановился в Твери, и купцы попросту распродали оставшийся хлеб, так и не довезя его до Петербурга. В срыве поставок и убытках обвинили Державина, на его имение наложили арест. В донесении Сенату Гавриил Романович сообщал, что эту аферу подстроили недоброжелатели в отместку за то, что он ранее донес в Сенат о хищениях казенных денег. Разбирательство продолжалось в Гражданской палате Тамбовского суда до 1794 года. Державину пришлось ехать в Петербург и «хлопотать». Так он спас свое имение от ареста, но это стоило семье много времени, денег и нервов. Гудович потребовал у Державина, чтобы «все известия, какие печататься будут, доставлялись бы впредь ко мне в копиях для сведения», а вскоре газета и вовсе была закрыта.
