Худая слава о доме пошла еще при жизни Расторгуева. Дом жил тихой скрытой жизнью, где-то в глубинных казематах глохли крики «супротивцев», по подземным путям в тайные молельни приходили наставники уральского старообрядчества, теми же путями они выходили в глухие дальние углы сада и никем не видимые растекались по темным грязным улицам Екатеринбурга.
После появления в доме расторгуевского зятя Петра Яковлевича Харитонова, богатого купца и золотопромышленника, тихая внешне жизнь дома кончилась. Зять любил шумные кутежи, безобразия и необыкновенные развлечения, стоившие иногда жизни кому-нибудь из дворовых. День и ночь играла музыка, шла крупная картежная игра, пьяные ватаги гостей мыли шампанским лошадей.
Харитонов не очень и скрывал худую славу казематов дома. Человек он был жестокий, необузданного нрава. Чего-чего, а взыскать копейку он умел. Поэтому и сдружился крепко с новоявленным своим родственником — Григорием Зотовым, Кыштымским Зверем. Вместе творили расправы над непокорными, вместе прятали концы в воду и в землю. Финал их известен: осужденные на вечное поселение в Кексгольм, они оба там и умерли.
После этой истории наследники уже не жили в доме на Вознесенской горке. Да и как жить, когда по ночам чудятся крики и стоны, а в воздухе стоит запах погребов и подземелий. В народе скоро почти забыли о первом владельце дома, а к зданию прочно и надолго прилипло название харитоновский дом. Легенды о подвалах и тайниках стали соседствовать с легендами о зарытом золоте и самоцветах. В художественную литературу эти легенды попадали не раз. О жутких моментах истории харитоновского дома писали Д. Н. Мамин-Сибиряк, А. Н. Толстой.
А были ли все-таки у дома подземные тайны?
Можно утверждать, что в харитоновском дворце были устроены глубокие подвалы, причем разные части дома, видимо, имели свои автономные скрытые помещения, иногда соединенные переходами, иногда раздельные, имевшие свой выход.
Похоже, что один из подвалов имел два этажа. Об этом свидетельствовали строители, работавшие на реконструкции харитоновского дома в 1936–1937 годах, после которой он стал Дворцом пионеров. Строители замуровали нижний этаж подвала, а из него-то и были тайные ходы во все концы расторгуевской усадьбы.
Подземные ходы… Сколько говорилось, сколько писалось о них! Какие только гипотезы и суждения не возникали в разное время. Сколько было заклинаний и призывов к компетентным организациям, чтобы вести работы, разыскать, вскрыть, осмотреть, покончив с легендами и рассказами.
