В 1616 году в ходе административных реформ был образован Кеврольский уезд, который охватывал всю территорию бассейна реки Пинеги с притоками. Туда вошло и село Сура. Центром уезда стал город Кевроль, который находился примерно на месте нынешней деревни Немнюги, что на высоком берегу реки Пинеги. Постепенно вешние воды прокладывали новое русло для Пинеги. Кевроль оказался в стороне от основного транспортного пути. Это явилось одной из причин переноса центра Пинежского края в погост Пинежский волок (позднее — Пинега).
Формирующееся и укрепляющееся Русское государство, как и всякое иное централизованное государство, нуждалось и в местах ссылки, куда можно было определить лиц, неугодных властям. Долгое время Пинежье было ссыльным краем — безлюдным, диким, жестоким к людям, где выжить было куда как непросто. Первоначально высылки были единичные. Провел здесь последние годы жизни князь Василий Васильевич Голицын (1643–1714), дипломат и государственный деятель допетровской Руси, фаворит царицы Софьи, фактический глава русского правительства во время ее регентства в 1682–1689 годах. Обвиненный в самоуправстве и в нерадении во время Крымского похода, он был лишен чести, боярства и имущества и сослан с семьей в Каргополь. Позже его ложно обвинили в измене и вследствие этого извета сослали в Пустозерск, а затем в село Кологоры Пинежского уезда. Здесь он и завершил свой земной путь и похоронен в Красногорском Богородицком мужском монастыре.
Традиция рассматривать Пинежье как «ссыльный край» сохранялась в XIX–XX веках. Но ссылали теперь сюда партиями — первыми из них стали народовольцы, затем социал-демократы, а потом пленные поляки, немцы… В числе известных ссыльных были разные люди. Один из них — писатель Александр Серафимбвич (Попов). Он был арестован в связи с делом о покушении на Александра III (одним из организаторов теракта был Александр Ульянов, брат В. И. Ленина) и жил здесь в 1887–1901 годах. В ссылке он написал свой первый рассказ «На льдине», опубликованный в «Русских ведомостях» (1889) под псевдонимом — Серафимович.
Побывал в ссылке (два года) в Пинеге и другой известный писатель — Александр Грин. Он был арестован (в третий раз) в 1911 году за свою революционную деятельность и побег из мест заключения. Здесь он написал «Жизнь Гнора» и «Синий каскад Теллури» и здесь же венчался с Верой Абрамовой, ставшей его первой женой. Путь из Пинеги в Архангельск писатель описал в рассказе «Сто верст по реке».
