В доме Дягилевых в Санкт-Петербурге не было светского салона с присущими ему условностями — и вовсе не потому, что хозяева были нелюдимыми; напротив, двери их дома всегда широко открыты — как в столице, так впоследствии в Перми и Бикбарде. У Елены Валерьяновны, как-то естественно и очень быстро ставшей центром семьи, оказался совсем не салонный подход к людям. Она никогда не подбирала гостей с точки зрения их полезности или известности и не искала их, потому что в дом к Дягилевым приходили только «свои». Но как же обширен был этот круг! И подобрался он вовсе не искусственно, а сам собой. Кавалергарды с женами, хозяева, семья Панаевых… Дягилевы не умели и не хотели как-то особенно развлекать гостей. Постоянным посетителем этого теплого дома становился лишь тот, кто чувствовал себя у Дягилевых именно по-домашнему.
Так продолжалось до 1882 года. Павел Павлович уже несколько лет служил в чине полковника и вскоре, вероятно, получил бы кавалерийский полк. Но в это время его стали одолевать кредиторы — долги достигли немалой суммы — почти 200 тысяч рублей. Дягилев задолжал главным образом ростовщикам, которые брали с него немыслимые проценты, а если вексель приходилось переписывать, то сумма долга чуть ли не удваивалась.
Когда об этом узнал его отец, он был поражен и возмущен. Но не бросишь же сына в беде. Поразмыслив, старик поставил непременное условие: он уплатит долг в том случае, если Павел оставит блестящий Кавалергардский полк и вместе с семьей переселится в Пермь. Там и взрослых, и детей ждут громадный дом, налаженное хозяйство и дешевая, по сравнению со столицей, жизнь.
К тому времени почти все члены многочисленного семейства разъехались. Анна Ивановна почти всё время жила в Санкт-Петербурге, около дочерей, давно уже ставших замужними дамами, и только летом приезжала в Бикбарду. Старший сын Иван Павлович давно обосновался в родовом имении, где был мировым судьей, и только два внука учились в пермской гимназии. В огромном доме в центре города оставались лишь Павел Дмитриевич и его холостой сын. Возможный приезд сына Павла с женой, которую старший Дягилев очень уважал и любил, и с внуками Сергеем, Валентином и Юрием казался старику настоящим подарком судьбы, мог внести в его жизнь разнообразие и семейное тепло.
Павлу Дмитриевичу повезло: мечты его претворились в жизнь даже быстрее, чем он мог надеяться. В Перми стоял запасной пехотный батальон, и как раз в это время его командира перевели к новому месту службы. И Павлу Павловичу благодаря связям удалось получить назначение командиром этого батальона. Как вспоминает П. Г. Корибут-Кубитович, «…это было большое счастье: хотя из блестящего полковника Кавалергардского полка он переходил в пехоту, всё же он продолжал привычную службу, а не был обречен на совершенное безделье, тем более тягостное и томительное, что он ничего не понимал в хозяйстве и совершенно не интересовался им».
