Отставка не заставила себя ждать. На прямой вопрос генерал-прокурора, за что его увольняют, император ответил: «Ты очень ревностно служишь». — «А как так, государь, — не согласился Державин, — то я иначе служить не могу. Простите». 8 октября 1803 года император подписал указ — Державин был уволен со службы с пожалованием ему 10 тысяч рублей ежегодного пенсиона. Сорокалетняя служба Гаврилы Романовича на военном и государственном поприще завершилась.
Недруги ликовали. Появились пасквили и эпиграммы вроде следующей: «Ну-ка, брат, певец Фелицы, на свободе от трудов и в отставке от юстицы наполняй бюро стихов. Для поэзьи ты способен, мастер в ней играть умом, но за то стал неугоден ты министерским пером…»
Вряд ли отставка сильно огорчила поэта — теперь он всецело посвятил себя литературному труду. Зимнее время проводил в Петербурге, а на лето отправлялся в Званку — свое имение на берегу Волхова, верстах в пятидесяти пяти от Новгорода. В знаменитом стихотворении «Евгению. Жизнь Званская» он красочно изобразил, насколько сельская жизнь ему милее дворцовых интриг. Писал он и лирические стихотворения, и драматические произведения («Добрыня», «Пожарский, или Освобождение Москвы»); трагедии («Ирод и Мариамна», «Евпраксия», «Темный»), комические оперы («Дурочка умнее умных», «Рудокопы»). Работал над сборником афоризмов «Мысли мои», над философско-политическими статьями, занимался переводами. В 1804 году Державин писал Капнисту: «Скажу вам о себе: я очень доволен, что сложил с себя иго должности, которой меня так угнетало, что я был три раза очень болен».
Казалось бы, что государственные дела, которыми он с такой горячностью занимался долгое время, его уже не интересуют. Но это было не совсем так. Гаврила Романович называл себя «отставным служивым» и считал обязанным изредка напоминать о себе. В 1807 году он написал Александру I две записки, в которых прозорливо усмотрел опасность для России со стороны Наполеона и предлагал меры по «укрощению наглости французов» и как «оборонить Россию от нападения Бонапарта». Об этом же он говорил с императором и при личной встрече. И снова император выслушал его благосклонно, но в очередной раз быстро охладел к его идеям.
Знавший Державина в первые годы после отставки литератор С. Жихарев (впоследствии московский губернский прокурор) вспоминал: «С именем Державина соединено было в моем понятии все, что составляет достоинство человека: вера в Бога, честь, правда, любовь к ближнему, преданность государю и Отечеству, высокий талант и труд бескорыстный…», «Это не человек, а воплощенная доброта, но чуть только коснется до его слуха какая несправедливость и оказанное кому притеснение или, напротив, какой-нибудь подвиг человеколюбия и доброе дело — тотчас оживится, глаза засверкают и поэт превращается в оратора, поборника правды…»
