С самого раннего детства мальчик начал изучать языки — английский, немецкий, французский и итальянский. В доме была хорошая библиотека, и Вильямc поражал окружающих, декламируя наизусть пушкинские поэмы. Кроме художественной литературы, в домашней библиотеке было много книг естественнонаучного содержания. Эти книги рано привлекли внимание мальчика. Но он не ограничивался их чтением, а подкреплял полученные им знания знакомством с природой и с производством.
Он ходил вместе с отцом на механический завод, где Роберт Васильевич работал в последние годы своей жизни, и с интересом наблюдал за трудом мастеровых, занятых на ремонте паровозов. У него установились дружеские отношения со многими рабочими. Они научили его умению обращаться с инструментами и привили мальчику любовь к мастерству, к чистой, красивой и аккуратной работе, что отличало Вильямса на протяжении всей его жизни. Талантливые русские мастера с их умением работать, с их метким и образным языком быстро привлекли к себе мальчика и оказали большое влияние на формирование его характера.
Этому способствовало и отношение отца к рабочим. Роберт Васильевич, на протяжении двух десятков лет близко соприкасавшийся с целой армией рабочих — сначала крепостных, а затем и «вольных», внушал сыну, что эти люди заслуживают самого высокого уважения. Он говорил: «Из каждых десяти русских рабочих и крестьян один по уму — министр, а девять — золотые руки». Эти слова глубоко запали в память Василия Вильямса, и он вспоминал их на протяжении всей своей жизни.
Смерть отца внесла резкие изменения в жизнь семьи.
Елене Федоровне пришлось срочно продать дом, чтобы рассчитаться с многочисленными долгами. Она переехала вместе со всеми детьми на Смоленский бульвар, сняв там квартиру на втором этаже небольшого двухэтажного домика (он и сейчас еще стоит на углу Смоленской площади и Ружейного переулка).
Средства, оставшиеся от продажи имущества, быстро таяли, но Елена Федоровна решила во что бы то ни стало продолжать образование детей. Сами дети быстро начали оказывать ей в этом помощь. Старшая дочь Софья, учившаяся в Московской консерватории у выдающегося русского музыканта Николая Григорьевича Рубинштейна, стала давать уроки музыки. Она была хорошей пианисткой, но перешла на педагогическое отделение консерватории, чтобы иметь возможность скорее помогать родным. Первое время ее заработки были почти единственным средством существования семьи. Вскоре поддержку семье стал оказывать и Василий. Однако до этого он сам еще некоторое время должен был находиться на иждивении старшей сестры.
