Обстоятельства жизни Николая Афанасьевича складывались так, чтобы беспощадно терзать напряженный ум и наболевшую душу, подготавливая взрыв рокового неизлечимого недуга, который, в свою очередь, не мог не отразиться на самочувствии всех членов его собственной семьи. Начало болезни Николая Афанасьевича относят к концу 1814 года. Сведения о недуге весьма противоречивы. Его считали «повредившимся в уме» — то ли вследствие падения с лошади, то ли благодаря наследственности со стороны матери. Скорее всего, он не был психически ненормальным. В юности мать не дала ему сделать военной карьеры, теперь, в его зрелые года, по воле отца оборвалась так прекрасно начавшаяся карьера преуспевающего промышленника. Надо полагать, что Николай Афанасьевич мог бы достичь высоких степеней на любом поприще, но разрыв с отцом послужил причиной к тому, что он запил. Жизнь надломилась.
Наталья Николаевна Гончарова родилась 27 августа 1812 года — на следующий день после Бородинского сражения. Ее семейство, спасаясь от французов, уже оставило Полотняный Завод и переселилось к близким родственникам Натальи Ивановны в богатое родовое поместье Загряжских Кариан, «в одно из лучших дворянских гнезд на Тамбовщине». Здесь и родился младенец женского пола и крещен в местной Знаменской церкви с именем Наталья.
После победоносного окончания Отечественной войны семья вернулась в Полотняный Завод. Однако болезнь Николая Афанасьевича вынудила семейство переехать в Москву, в собственный дом на Никитской. Родители не взяли с собой маленькую Наташу, потому что старик Гончаров сильно привязался к внучке и настоятельно требовал отдать девочку на его попечение. Наталья Ивановна скрепя сердце согласилась на это, чтобы хоть как-то приспособиться к новым обстоятельствам жизни. Молодая тридцатилетняя женщина вынуждена была взять на себя заботы о больном муже и малолетних детях.
Дед души не чаял в маленькой внучке. Наташа росла подобно сказочной принцессе в волшебном царстве. Зная отношение деда к ребенку, все прихлебатели и приживальщики Полотняного Завода старались угадать ее наималейшее желание. Самые дорогие и затейливые игрушки выписывались на смену тех, что не успели еще надоесть, от нарядов ломились сундуки, на каждом шагу предлагались разнообразные и изысканные лакомства, так что от них совершенно пропадал аппетит. Любимым развлечением в имении стало придумывать новые забавы для общей любимицы.
