Осенью Юшковы взяли Васю с собой в Тулу. Он жил у них и учился в Главном народном училище, но очень недолго он там проучился: Покровский, который сделался в училище главным наставником, исключил его «за неспособность». Но в доме Юшковых была своя «школа» — здесь давались домашние уроки многочисленным детям: четырем дочерям Юшковых, воспитаннице француженки-гувернантки, одной дальней родственнице Буниных, жившей в доме бедной дворянской девице Сергеевой, а две девочки приходили на занятия в дом Юшковых — дочь какого-то чиновника Павлова и дочь тульского полицмейстера Голубкова. Кроме того, пожелали заниматься вместе с детьми три взрослые девицы лет по семнадцать, а также мальчик — сын домашнего доктора Юшковых Риккера. Учеников набралось шестнадцать человек. В дом ходил целый штат учителей, а с ними… все тот же Феофилакт Гаврилович Покровский. Он с неудовольствием смотрел на Васю, а тот смущался и вовсе терял память и соображение, чувствуя на себе осуждающий взгляд строгого преподавателя.
Изредка в Тулу приезжала к дочери Марья Григорьевна, а с ней к сыну — Елизавета Дементьевна. Пока они выбирались из возка, Вася выбегал на крыльцо. Осыпанные снегом лошади мотали головами, ветер задувал фонарь в руке спешащего к саням лакея, наконец, кто в чем, сбегали с крыльца взрослые, поднимался шум. Увидев раздетого сына, Елизавета Дементьевна вскрикивала и тотчас набрасывала на него полу своей морозной шубы.
Жуковский впоследствии вспоминал о своей сводной сестре Варваре Афанасьевне Юшковой: «В ней было много поэтического. Всё, выходящее из низшего порядка жизни, ее интересовало. В ней таилось много неразвитых талантов. Это меня поражало тогда при всей моей необразованности».
Петр Николаевич Юшков служил в Тульской Казенной палате советником. Он знал языки, изучал русскую историю, интересовался философией. В его московском доме бывали известные деятели русского просвещения Н. И. Новиков, И. П. Тургенев, М. М. Херасков. В своем тульском доме он стал устраивать музыкальные и литературные вечера — тут читались новые произведения руссдих писателей, в особенности Карамзина и Дмитриева. Юшковы получали несколько русских и иностранных журналов.
Варвара Афанасьевна по просьбе дирекции Тульского общественного театра выбирала пьесы для постановки, руководила репетициями, которые нередко проходили в ее доме: она выбрала и поставила «Цинну» Корнеля, «Британика» Расина и «Магомета» Вольтера.
