С детских лет Вася перенял от отца любовь к древней Элладе и к бессмертным творениям эллинов.
Мальчика увлекала не только живопись, но и другие виды искусства. Родители Поленовы были очень музыкальны. В их квартире на Васильевском острове нередко собирались знакомые пианисты, скрипачи, певцы, устраивались настоящие домашние концерты серьезной музыки, с пением оперных арий. Вася забирался тогда в уголок и, никем не замеченный, закрыв глаза, весь отдавался звукам.
Случалось, зимой наезжала в Петербург из своего тамбовского имения шумная «Бабаша», бабушка со стороны матери — Вера Николаевна Воейкова, — барыня властная и строгая. Она требовала, чтобы все, в том числе и зять, подчинялись ей.
Дочь известного архитектора Н. А. Львова, она получила блестящее по тому времени образование. Великолепно зная французскую литературу, она не менее увлекалась русской и помнила наизусть не только стихи Державина, Дмитриева, Жуковского, но и отдельные главы «Истории государства Российского» Карамзина; любила она также русские народные сказки и песни.
Внуки всегда с радостью встречали Бабашу. Младшим, Косте и Лиле, она рассказывала сказки про волка и про лису, про белую уточку, про войну грибов; со старшими говорила о тяжелых и славных временах 1812 года, читала письма тогдашнего своего жениха — полковника, потом генерал-майора Алексея Васильевича Воейкова — участника и героя войны с Наполеоном.
Эти письма Воейков писал, то сидя в седле, то на пне, то на барабане, писал их из-под Бородина, с Березины, из Германии, из Парижа — словом, отовсюду, куда двигался вместе с победоносной русской армией.
В 1815 году он вернулся на родину, вышел в отставку и вскоре после свадьбы уехал вместе с молодой женой в свою родовую тамбовскую Ольшанку, а через десять лет там же скончался от старых ран. В знаменитой военной галерее Зимнего дворца рядом с портретами выдающихся полководцев 1812 года находится и портрет генерала Воейкова, писанный английским художником Дж. Доу.
Родная тетка Бабаши, Дарья Алексеевна Дьякова, была замужем за Г. Р. Державиным. Племянница в детстве нередко гостила в доме славного поэта и много лет спустя, приезжая в Петербург, рассказывала внукам о Державине, память о котором была для нее священной.
Заметив у внуков, особенно у старшего, Васи, склонность к рисованию, Бабаша устраивала конкурсы между детьми — кто нарисует лучшую картинку на заданный сюжет, а сюжеты бывали сложные, вроде «Суд Соломона» или «Благословение Дмитрия Донского Сергием Радонежским перед Куликовской битвой». Чаще всего первые премии доставались Васе.
