После многих осад Полоцк восстановили, отстроили укрепления, город стал первоклассной крепостью того времени. Замковые укрепления состояли из 9 башен до 7 метров высоты, больших размеров, соединенных бревенчатыми стенами «в несколько бревен» (6 метров), рвов и валов. В башенных бойницах стояли десятки пушек. Длина стен составляла 4 километра. В городе с посадами проживало около 40 000 жителей.
Полоцк впервые был взят во время Ливонской войны 1558–1583 годов.
В январе 1563 года огромное войско царя Ивана Грозного со 150 пушками осадило Полоцк. Начались артиллерийские обстрелы, штурмы. На помощь Полоцку вышло 40-тысячное войско Великого гетмана Литовского Николая Радзивилла, но ему не удалось прорваться к городу. С 9 по 14 февраля артиллерийские обстрелы стали круглосуточными, ядра стенобитных пушек весили до 300 килограммов.
В ночь на 15 февраля стрельцы подобрались к замковым стенам и зажгли их, в результате чего образовалась большая брешь, в которой утром начался кровопролитный бой. 15 февраля 1563 года воевода Довойна сдал Полоцк под обещание жизни, свободы и сохранности имущества.
Город был восстановлен и 16 лет находился под властью Московского царства.
В августе 1579 года после 20-дневной осады и отчаянного сопротивления московского гарнизона Полоцк был взят войсками польского короля Стефана Батория.
Замок и город вновь отстроили. В 1580 году Стефан Баторий пригласил в Полоцк иезуитов во главе с П. Скаргой, через год построившими иезуитский коллегиум, великолепный собор Святого Стефана. Иезуиты открыли при соборе издательство и типографию, аптеку, театр, заложили ботанический сад. Сам Полоцк состоял из Верхнего и Нижнего замков, имел 6 посадов, 80 улиц и переулков.
В начале XVII века в Полоцке был сильный пожар, повторивший в 1615 году. Городские укрепления долго не восстанавливали. Июньской ночью 1633 года Полоцк атаковало московское войско воевод А. Репнина и Н. Плещеева. Они осадили Полоцк, но были отбиты подошедшими на помощь городу королевскими войсками.
Летний пожар 1643 года сжег «все место Полоцкое, замок Вышний и Нижний, Коллегиум, костелы, церкви, ратуши, вежи и паркан и все оздобы места Полоцкого сгорели и в пепел обратились». К 1654 году замок попытались восстановить – приближалась русско-польская война 1654–1667 годов, – но сделать удалось немного.
Летом 1654 года 50-тысячная армия воеводы В. П. Шереметева пошла к Полоцку. Осада шла весь конец июня. 30 июня были согласованы условия сдачи города и в Полоцк вошли московские войска, восстановившие Верхний и Нижний замки и поставившие 4 новые башни, пушки, пищали, земляные бастионы.
