В 1932 году он снова в Ярославле, куда местные власти пригласили в качестве экспертов его и архитектора Николая Николаевича Померанцева, надеясь с их помощью вывести из списка охраняемых десятки якобы малоценных храмов города. Но архитекторы дали столь высокую оценку архитектурному наследию столицы Поволжья, что властям ничего не оставалось как устроить вокруг их имен злобную истерию, принявшую в конце концов характер устрашающей политической акции.
В 1933 году Барановский отводит угрозу сноса храма Василия Блаженного, отказываясь проводить обмеры памятника и направляя телеграмму о готовящемся преступлении на имя Сталина.
Тогда же, спасая от окончательного уничтожения, свозит в Коломенское фрагменты и детали архитектурного убранства сносимого храма Никола «Большой крест» - одного из красивейших в Москве.
А потом было «узилище», как выражался сам Петр Дмитриевич. Осенью 1933 года его арестовывают, обвиняя в попытке свержения действующей власти и намерении в составе группы заговорщиков самим «занять правительственные места». Но «страшные угрозы смертью» со стороны следователя Альтмана на «заговорщика» Барановского не подействовали и к признанию вины не склонили. Несмотря на это, решением особого совещания коллегии ОГПУ от 2 апреля 1934 года он был осужден по ст. 58-10-11 тогдашнего Уголовного кодекса на три года лагерей за «создание контрреволюционной организации». Поразительно то, что находясь под следствием, Петр Дмитриевич пишет «Завещание» - подробную инструкцию сотрудникам музея в Коломенском с указанием особенностей сборки, демонстрации, сохранения и обработки различных частей перевезенных в музей памятников деревянного зодчества. И все это в полном неведении об ожидавшей его участи!
После отбытия лагерного срока местом пребывания Барановского становится Александров Владимирской области. Здесь он занимается созданием музея, а также исследованиями, раскрытием и реставрацией комплекса архитектурных памятников XVI-XVII веков.
И все же главной заботой для него в это время был Казанский собор на Красной площади в Москве, реставрацию которого Петр Дмитриевич начал в 1925 году, не успев дообследовать и обмерить. Ко времени его досрочного освобождения из заключения в мае 1936 года собор уже был частично разобран. Поэтому Барановскому приходилось ежедневно самым первым поездом ездить в Москву и, рискуя вновь оказаться за решеткой, заниматься обмерами разбираемого храма. После чего - вновь возвращаться в Александров, чтобы отметить в книге учета у местного оперуполномоченного свое присутствие. К счастью, подлинный облик храма, значительный объем которого был раскрыт Барановским в 1920-е годы, и обмерные материалы дошли до нас. Это позволило впоследствии воссоздать выдающийся памятник русской воинской славы в полном объеме.
