«Павел Михайлович почти никогда не говорил о своем детстве, — вспоминала В. П. Зилоти, — однако, помню, как-то рассказывал с большим юмором о том, как хаживал к ним в лавку в рядах на Красной площади какой-то „странный человек“, странник, что ли, который молился и просил подаяния, но если кто-нибудь ему отказывал, то он сердился и грозно кричал: „Я ти взвощу, я ти взбутетеню“. Это отец нам рассказывал, смеясь до слез и с чувством восхищения перед красочностью этих непонятных слов. Любил он вспоминать, как они с братом Сережей на Бабьем городке ходили в купальни на Москву-реку с мальчиками Рубинштейнами, Антоном и Николаем, у отца которых была неподалеку карандашная фабрика. „Николай Григорьевич был большой шалун“, — прибавлял Павел Михайлович с милой, лукавой улыбкой, так как знал, что таяли перед Николаем Григорьевичем не только он сам и все мы, но и вся Москва».
Добрые отношения с товарищами детства останутся на всю жизнь. Когда в 1860 году Н. Г. Рубинштейн предложит организовать Московское отделение Русского музыкального общества, Павел Михайлович одним из первых откликнется на это начинание и внесет значительные пожертвования. А в одном из писем к жене из Парижа, побывав на концерте Н. Г. Рубинштейна, напишет: «Чрезвычайно приятное чувство ощутил я, слыша первый раз русскую музыку в Столице Света. Исполнение было прекрасное, <…> Николай Григорьевич играл чудесно, кроме публики весь оркестр аплодировал ему при каждом появлении и сходе с эстрады». Напомним, умер Н. Г. Рубинштейн на руках у жены Сергея Михайловича Третьякова, с которым они были дружны в продолжение всей жизни пианиста.
Жили Рубинштейны «на Толмачах в приходе Николы», иначе — в Толмачевском переулке близ церкви Святого Николая Чудотворца. Рядом с их домом находилась церковная земля, а с севера к храму примыкал участок с большим домом, который позже купят Третьяковы и где впоследствии разместится знаменитая галерея.
В праздничные дни, когда по всему Замоскворечью пахло пирогами, любимейшим занятием братьев Третьяковых было бродить по незнакомым, тонущим в садах улочкам и переулкам.
В Замоскворечье нетрудно было заблудиться.
Сквозь булыжник мостовой пробивалась трава. Кудахтали куры, перебегая улицу. Мычали в хлевах коровы.
Братья петляли по переулкам, чтобы взглянуть на какой-нибудь старый примечательный дом и услышать позже от отца, кто в нем живет. Отец, выслушав, рассказывал про архиереев, купцов, юродивых, злодеев, вельмож.
