Пётр Алексеевич Прокофьев стал управляющим делами своих племянниц — сестёр Смирновых — и регулярно дарил крёстному сыну Сергуше «золотые монеты на рождения и именины». Больше ничем примечательным он композитору не запомнился.
Сергей же Алексеевич смог прилежным обучением и упорным трудом добиться немалого. В 1864 году он успешно окончил Московское коммерческое училище и получил, по окончании, «звание личного почётного гражданина» г. Москвы. Из Петровской академии Сергей Алексеевич, однако, ушёл без аттестата — после пяти лет посещения лекций и практических занятий; причиной тому послужило, вероятно, желание поскорее заняться делом.
Предками матери, Марии Григорьевны, были крепостные графа Шереметева — Шилины. Граф увёз их из тульского имения в Санкт-Петербург «за своеволие», и потому Шилины жили в качестве прислуги в знаменитом Фонтанном доме-дворце Шереметевых. Впоследствии во дворце располагался Арктический институт Академии наук, а ныне там находятся филиал Музея театрального и музыкального искусства и Музей Анны Ахматовой (поэтесса ютилась в 1920— 1950-х в одной из комнат дворца). В Северной столице непокорные крепостные сменили фамилию Шилины на Житковы (в официальных документах писавшуюся Жидковы). Григорий Никитич Шилин-Житков (Жидков) приходился дедом Прокофьеву по материнской линии. Сам композитор запомнил ныне утраченный портрет Григория Никитича, запечатлевший его «суровым аскетом раскольничьего склада».
Атмосфера в доме Шереметевых в середине XIX века была весьма своеобразной. Владел огромным состоянием Дмитрий Николаевич Шереметев, сам сын крепостной — знаменитой актрисы Прасковьи Ковалёвой-Жемчуговой, и, сколько мог, тратил его на тайную благотворительность и явную помощь своим крепостным. Так выросшие в Санкт-Петербурге дочери Григория Житкова, мать композитора Мария Григорьевна (1855–1924), её сёстры Екатерина Григорьевна (1857–1929) и Татьяна Григорьевна (ум. в 1912), получили начальное образование в стенах Фонтанного дома, затем учились в школах, в частности мать композитора — в Первой Московской гимназии, и впоследствии избрали каждая достойный и независимый путь. Восприемником при рождении, крёстным отцом Марии был сам Дмитрий Шереметев. По сохранившимся у потомков Житковых изустным преданиям жизнь в Шереметевском дворце включала приобщение к высокой культуре — дети крепостных «слушали пение знаменитой Шереметевской капеллы в домовой церкви, видели картины мастеров, развешанные на стенах дворца», понимали французский язык. Бабка композитора Анна Васильевна Инштетова, мать Марии, Екатерины и Татьяны, была наполовину прислугой и работала в Зимнем дворце. «По преданию, Инштетовы происходили от шведского графа Инстедта, иммигрировавшего в Россию», — сообщал сам композитор. Однако двоюродный дядя композитора Д. С. Инштетов внёс в 1947 году существенное уточнение в известную Прокофьеву легенду. В письме к композитору он сообщал, что дети Инстедта — Анна Васильевна и Семён Васильевич родились в селе Мещерском Серпуховского уезда Московской губернии, где их отец работал на строительстве для барона Боде-Колычёва. Боде-Колычёв выписал шведского подданного в Москву для участия в возведении Большого Кремлёвского дворца, проходившего, как известно, в 1838–1849 годах, а потом позвал к себе в имение и отдал за него свою внебрачную дочь. Раннее замужество для родившейся в таком браке Анны Инштетовой не должно удивлять — оно вполне было в духе времени. Таким образом, Прокофьев приходился по матери также потомком древнему боярскому роду Колычёвых, к которому принадлежал и канонизированный Русской православной церковью митрополит Филипп — оппонент и жертва Ивана Грозного, персонаж фильма Сергея Эйзенштейна, музыку к которому напишет Прокофьев.
