Один из внуков Павла Дмитриевича, кузен С. П. Дягилева Павел Григорьевич Корибут-Кубитович (в семье его любовно называли Пафка), считал деда человеком особенным. Сообщая, что старший Дягилев оставил службу в министерстве «из-за пустого разногласия», он подчеркивал: «…дед, как и внук его, Сергей Павлович, не мог по самой природе своей служить и подчиняться дисциплине».
Впрочем, Павел Дмитриевич в ту пору и не переживал вовсе о потерянном месте. Весельчак, прекрасный пианист, он гордился тем, что был учеником известного ирландского музыканта, профессора Джона Фильда. С оптимизмом смотреть в будущее помогала и счастливо сложившаяся семейная жизнь — в семье Дягилевых подрастало восемь детей. В 1850 году, выйдя в отставку, Павел Дмитриевич вместе с женой Анной Ивановной и многочисленными домочадцами поселился в родовом пермском имении Бикбарда. После смерти отца он получил большое состояние — «около пятнадцати тысяч десятин в Осинском уезде Пермской губернии и в смежном Бирском уезде Уфимской губернии, тоже с прекрасною усадьбою; в каждом имении было по большому винокуренному заводу». В самом центре Перми у Дягилевых был громадный дом, в котором насчитывалось 30 просторных комнат. К дому примыкал большой флигель, а также сад и обширный двор, который обрамляли конюшни, каретные сараи, ледники и прочие хозяйственные пристройки. Павел Дмитриевич жил то в этом доме, то в усадьбе — как душа желала. Нередко отправлялся он и в Санкт-Петербург. Ведь детям нужно было давать образование, вот и жили они по большей части в столице.
Причем жили на широкую ногу — в собственном трехэтажном доме с флигелями на Фурштатской улице. Хозяин справедливо слыл человеком широких взглядов и к крестьянам всегда относился доброжелательно. Он не хотел иметь дворовых крепостных, и вся прислуга была наемная. Когда начались знаменитые реформы императора Александра II, землевладельцы Пермской губернии выбрали Павла Дмитриевича депутатом в комитет по освобождению крестьян. С тех пор он всё чаще и дольше жил в столице вместе с постоянно увеличивавшейся семьей. Дела шли как нельзя лучше. При умелом управлении имениями и перестроенными и модернизированными винокуренными заводами Дягилев из очень состоятельного человека превратился в богача.
Но странное дело: именно тогда, на пороге пятидесятилетия, у Павла Дмитриевича произошел какой-то внутренний слом. Он всё меньше ценил богатство и земные блага, даже сблизился с монахами, что очень не нравилось его жене. Анна Ивановна то и дело обвиняла чернецов в перемене, произошедшей с ее мужем. Началом последовавшей драмы она считала эпизод, имевший место вскоре после свадьбы старшей дочери Анны (Ноночки), которая, по ее собственному признанию, вышла замуж за «одного из лучших людей на свете» — Владимира Дмитриевича Философова.
