Ян Юрий Радзивилл не имел наследников, поэтому после его смерти в 1625 г. Несвижем завладел его младший брат Альберт Владислав, который хозяйничал до 1636 г. Во время его управления, а именно в октябре 1625 г. в Несвиже случился мор, который унес жизни 50-ти горожан. Беда отступила только в конце ноября. По этому случаю мещане возвели в 1626 г. в предместье Новый город часовню.
С 1636 по 1654 гг. владельцем города был Александр Людвиг Радзивилл, ещё один сын Миколая Сиротки. В 1640 г. в городе проходило пышное представление, посвященное 100-летию со дня основания ордена иезуитов. По улицам прошли процессии, школьная молодежь исполняла под музыку триумфальные гимны. В память про этот день Александр Людвиг передал в костел отлитое из золота сердце в натуральную величину.
Михаилу Казимиру Радзивиллу выпало стать хозяином города в год начала тяжелейшей войны. В 1654 и 1659 гг. Несвиж был основательно разграблен. Михаил Казимир добился в сейме Речи Посполитой, чтобы город на 4 года освободили от выплат податей, а впоследствии и сам начал «немалым коштам фортификовать Несвиж». В 1670 г., тоже благодаря его стараниям, Варшавский сейм на 20 лет освободил местных мещан от выплаты таможенных сборов и мыта старого и нового. В дальнейшем владельцу Несвижа стало значительно проще добиваться всевозможных привилеев в пользу своего города, потому что он сделался мужем родной сестры Яна Собеского Катерины. Ян III (Собеский), вступив в 1674 г. на трон, не только подтвердил Несвижу все предыдущие привилеи, по и специальным привилеем, как награду за мужество, установил в 1681 г. четырехнедельный кирмаш, который начинался 25 августа.
После смерти Михаила Казимира в 1680 г. Несвижским имением на протяжении 12-ти лет владела его жена Катерина из рода Собеских. Пользуясь поддержкой своего брата-короля, она продолжала опекать город.
С 1692 г. в Несвиже стал хозяйничать Кароль Станислав Радзивилл. На его долю выпал еще более тяжелый период — Северная война. В мае 1706 г. город был сожжен, а замок разрушен.
Возрождение Несвижа началось только в 1720-е г., когда хозяином его стал старший сын Кароля Станислава Михаил Казимир Радзивилл Рыбонька. Были восстановлены укрепления замка и города. Своим постановлением от 26 июля 1724 г. Михаил Казимир Рыбонька позволил пользоваться городскими правами всем, кто хотел тут поселиться. В его постановлении от 1731 г. есть специальный параграф про военные учения: согласно ему каждый год на третий день Семухи все взрослые мужчины обязаны были принимать участие в соревнованиях стрелков на приз «короля курка». Кроме того, Радзивилл Рыбонька активно занимался вопросами развития экономики и культуры в Несвиже: заложил мануфактуру шелковых поясов, открыл рыцарскую школу, основал суконную фабрику, спиртзавод. В протяжении 40 лет этот магнат вел диариуш, дневник, который составил, в общей сложности, несколько тысяч страниц. Первая жена Радзивилла Рыбоньки Франтишка Уршула Радзивилл из рода Вишневецких явилась основательницей придворного театра с капеллой и балетной школой.
