Дед и полный тезка Павла, отправившись из Твери в Сибирь на поиски золота, вложил в экспедицию весь свой капитал и почти полностью разорился, возвратившись в Москву лишь с остатками былого состояния; правда, их хватило на то, чтобы дать детям приличное образование.
Сын неудачливого золотоискателя проявил художественные способности, но ярким талантом не блистал. Несмотря на это, отец смог добиться его принятия в Академию художеств, которую Николай Павлович окончил как «середнячок», без каких-либо наград.
Николай Павлович не был чрезмерно претенциозным. Получив специальность архитектора, он не стремился особо выдвинуться, спроектировав лишь несколько зданий, которые были оценены специалистами как оригинальные архитектурные творения. Он, правда, на конкурсе в Академии художеств получил премию за этюд «Христос среди палачей», но она оказалась единственной его наградой за художественное творчество.
Николай Павлович читал курс архитектуры в Училище живописи и ваяния Московского художественного общества (с 1865 года — Московское училище живописи, ваяния и зодчества), но и на преподавательском поприще особых высот не достиг. Поскольку жалованье в училище не было высоким, он перешел на «практическую» работу — стал оценщиком произведений искусства в одном из московских банков. Там он и завершил свою карьеру. В 1857 году указом императора Александра II ему был пожалован чин титулярного советника, соответствовавший чину армейского пехотного капитана>{33}.
В то же время он был образованным, начитанным, великолепно знал историю искусств, особенно архитектуры. Его сын почерпнул первоначальные художественные знания именно из альбомов отцовского книжного собрания, которое позже перешло к нему по наследству. Из книг этой библиотеки П. Н. Милюков, помимо альбомов и архитектурных справочников, особенно запомнил гомеровскую «Илиаду» и тома «Русского архива», что явно выдает ранний интерес к отечественной и мировой истории.
В первые годы жизни Павла родители часто меняли место жительства: вначале обитали в Лефортове, затем перебрались в самый центр Москвы, в район Арбата, где поселились в Староконюшенном переулке, а чуть позже — на пересечении этого переулка с Сивцевым Вражком, где занимали комфортабельную четырехкомнатную квартиру. У семьи была и небольшая дача в поселке Пушкино.
Павлик рос энергичным, бойким, но в общем более или менее спокойным ребенком. Его брат-погодок Алексей был куда более резвым, непоседливым, непослушным.
