В семейном архиве сохранился автограф Петра, писанный из Голландии, в котором он уведомляет Гончарова, что нанял там и высылает ему мастера, опытного в «усовершенствовании полотен», и если выговоренная плата покажется Афанасию Абрамовичу слишком высокой, то он готов половину принять на счет царской казны. Известно, что в каждом важном случае Гончаров свободно обращался к царю за наставлением и добрым советом. После смерти Петра I дочь его императрица Елизавета продолжала покровительствовать Гончарову. Она пожаловала ему чин коллежского асессора, дававший право на потомственное дворянство. Екатерина II подтвердила это право специальным указом, выданным уже внуку Афанасия Абрамовича Афанасию Николаевичу, деду Н. Н. Пушкиной. Именно он сумел промотать миллионы и после смерти оставил полтора миллиона долгу.
Предчувствуя, что потомки не сохранят богатство, предусмотрительный Афанасий Абрамович превратил в майорат полотняный завод и бумажную фабрику, то есть в неделимое имение, которое должно было передаваться старшему в роде и не подлежало продаже и залогу. Майорат стал называться Полотняным Заводом. Со смертью отца, став полновластным властелином имения, Афанасий Николаевич сбросил обузу дел на руки управляющим и стал заботиться лишь о том, как пышнее обставить свою жизнь, как придумать новую неизведанную забаву. Сокровища, накопленные до него, казались неистощимыми. Гончаровская охота славилась чуть не на всю Россию, а оркестр из крепостных, обученный выписными маэстро, мог бы занять почетное место в столице…
Дом в Полотняном Заводе, построенный без особых архитектурных затей, размерами напоминал настоящий дворец. Афанасий Николаевич еще надстроил его, богато и на широкую ногу отделал внутри. Из описи обстановки того «богатого периода» гончаровской жизни ясно: владельцы ни в чем себе не отказывали. В комнатах стояла мебель, отделанная бронзой и инкрустацией, висели люстры фарфоровые и из венецианского стекла, дорогие сервизы и фамильное серебро с инициалами Афанасия Николаевича были подаваемы к столу хозяев и гостей.
Парк вокруг дворца был разбит на аристократический лад: гроты, беседки, статуи украшали его тенистые аллеи. В оранжереях выращивали заморские фрукты: ананасы на пирах были свои, не привозные. При конном заводе, где выводили породистых лошадей, при Афанасии Николаевиче был построен огромный великолепный, прямо-таки царский манеж, в котором устраивались конно-спортивные праздники. Толпы гостей съезжались на показы выездки лошадей, выдрессированных берейторами, которых приглашали из-за границы.
