Жена его—дочь адмирала Беренса — была очень красива даже в старости. Именно она занималась воспитанием детей. Пять дочерей и три сына получили прекрасное образование. Впоследствии один из сыновей — Илья Петрович — был инженером и участвовал в строительстве Литейного моста в Петербурге. Судьба Андрея Петровича— гвардии офицера — сложилась трагично. Его перевели в армию за то, что в сентябре 1862 года он заказал панихиду по одному из казненных революционеров.
Дети Петра Петровича занимались музыкой, любили театр и танцы. Особенно очаровательны и веселы были все пять девушек. Три из них занимались в рисовальной школе при Академии художеств. Петр Ильич больше всех подружился с Анной Петровной (в замужестве Мерклинг), несмотря на то, что она была старше его на десять лет. Эта дружба сохранилась на всю жизнь. О многом говорит письмо Петра Ильича из Неаполя, написанное им в ответ своей двоюродной сестре. Двадцать лет прошло с начала их детской дружбы, а это теплое послание с первых строк переносит друзей в годы юности.
«…Едва я взглянул на конверт, как на крыльях памяти унесся в давно прошедшее время, и мигом явилась картина столовой в Училище правоведения. Нос приятно щекочется запахом борща и каши (они всегда бывали по четвергам), душа умиляется в ожидании битков, долженствующих явиться вслед за борщом, сердце сладостно сжимается при мысли о том, что до субботы осталось два дня, и тут‑то, в довершение всех прелестей, своей торжественно–тихой походкой ко мне направляется швейцар Голубев с письмом в руках. Вижу милый почерк, разрываю конверт и читаю твою восхитительную болтовню. Разве эти милые воспоминания могут испариться? Нет, Аня, хоть мы с тобой теперь и редко встречаемся, но как ты, так и моя любовь к тебе все та же. В столовой Училища правоведения и в Неаполе твое письмо мне одинаково приятно» (7 мая 1874 года).
Теперь, приходя по воскресеньям и праздникам из училища, Петр находил дома большое жизнерадостное общество молодежи. Приходили в отпуск воспитанники Кадетского корпуса сыновья Петра Петровича, братья Николай и Ипполит, собирались их товарищи, и до поздней ночи в доме Остерлова звучали музыка, пение, молодой смех.
Анна Петровна вспоминала впоследствии о Петре Ильиче: «Его часто заставляли играть что‑нибудь, что он играл по слуху. Он не любил этого и исполнял небрежно, только бы отделаться. Помню, меня это поражало, поражало меня также выражение его детского личика, когда он играл один, для себя, смотря и, видимо, не замечая ничего из окружающего».
