В общем-то эти посиделки могли так ничем и не закончиться — в квартиру Рыбникова захаживали самые разные люди, и далеко не все из них были подобны «вертепнику» М. Я. Свириденко, изо всех сил тянувшему кружок к социализму, совершавшему путешествия в деревню с целью сближения с крестьянами и прославившемуся позже, в 1864 году, во время гражданской казни Н. Г. Чернышевского на Мытнинской площади в Петербурге своим призывом к собравшимся во время схождения Чернышевского с эшафота снять шляпы. Кружок посещали и вполне лояльные властям братья Веселовские, один из которых — Александр Николаевич, — благополучно закончив в 1858 году историко-филологический факультет Московского университета, станет со временем академиком и внесет огромный вклад в развитие русской фольклористики. Однако Павел Рыбников избрал для себя путь народознатца. Летом 1858 года, после утверждения в звании кандидата, он облачился в «русскую» рубаху, поддевку, высокие сапоги (впрочем, так он любил иногда походить и раньше), оставил дома паспорт и отправился общаться с народом. Появившись в Черниговской губернии, он привлек внимание полиции своим явно «ряженым» обликом, отсутствием документов, стремлением сблизиться с жившими здесь раскольниками и дискуссией, устроенной им с черниговским архиереем. Подозрительного странника задержали, установили его личность, сопоставили с информацией, имевшейся о московском «вертепе», и, как говорится, изъяли из обращения. В марте 1859 года Павел Николаевич Рыбников в том же странном виде, в каком путешествовал по Черниговщине, и без копейки денег прибыл в ссылку в город Петрозаводск, центр Олонецкой губернии. В Москве либералы пошумели о жестокости властей, Герцен откликнулся из Лондона небольшой заметкой в «Колоколе». Его корреспонденты из России сообщили, что Рыбников был сослан якобы за то, что, «изучая в Черниговской губернии промышленность, он ходил в русском, а не немецком платье». Искандер возмущался: это произошло «не при Бироне, не при Николае»! Впрочем, лондонский изгнанник просил выслать ему «подробности». Вот, собственно, и всё. Действительно, случись подобное при Николае I, судьба ссыльного могла бы сложиться трагично. Но время было другое. Хомяков начал хлопоты, к делу подключилась фрейлина императрицы А. Ф. Тютчева, дочь знаменитого поэта: в результате Рыбников был назначен на должность члена-делопроизводителя Олонецкого губернского статистического комитета (номенклатура Министерства внутренних дел) и начал столь успешно продвигаться по службе, что в 1866 году был даже переведен на должность вице-губернатора в Калишскую губернию, образованную на границе Царства Польского вскоре после подавления восстания поляков. На этой должности Рыбников и пребывал вплоть до своей смерти в 1885 году. Но прославиться Павлу Николаевичу было суждено не административной деятельностью, а тем, что, живя в Олонецкой губернии, он открыл здесь «Исландию русского эпоса» — живую былинную традицию.
