При осаде 1484 года горожане замок разрушили, положив на это святое дело немало труда и сил, но семь лет спустя, после поражения в сечах, вынуждены были приступить к восстановительным работам. По странному стечению обстоятельств замок восстанавливали ровно столько времени, сколько ушло на первоначальную постройку — двадцать три с небольшим года.
Цитадель являла собой каре с четырьмя башнями по углам. Как и все орденские строения, ее сориентировали по странам света, и не случайно первый камень заложили в самый длинный день в году. Две главные башни — святого Духа и Свинцовая — смотрели на северо-запад и соответственно на юго-восток. Противоположные им вышки самостоятельными укреплениями не являлись и лишь вмещали лестничные пролеты. Вентиляция всюду невидимая и идеальная, глухота полная, за исключением, разумеется, специально оборудованных для подслушивания покоев. В них отчетливо слышны были даже шепотом произнесенные слова. Трехэтажное, с обширными подвалами и сложной системой подземелий здание могло при необходимости вместить целую армию, бездну снаряжения и съестных припасов.
В обычное время на первом этаже, в хозяйственных помещениях и сторожках, размещались охрана и челядь. Жилые покои располагались выше. Здесь жили сам магистр, командоры ордена и комтур — начальник самой крепости. Рядом устроены были обширная трапезная, зал капитула (в восточной, как у тамплиеров, части), замковая церковь и опочивальни рядовой орденской братии. Высота первого этажа без малого достигала пяти метров, второго — семи. На третьем, оружейном, этаже, где не было ни потолка, ни простенков, стояли тяжелые бомбарды и кулеврины, пирамиды гранитных ядер, смоляные бочки, котлы с оловом и метательные машины.
Вместо окон были узкие, закругленные сверху бойницы, снабженные задвижными щитами крепкого турайдского дуба.
После распада Ливонского ордена замок служил резиденцией сменяющих друг друга правителей: сначала польских и шведских генералов, затем царских губернаторов. Его несколько раз реконструировали, подгоняя под современность, добавляли различные пристройки. В 1783–1788 годах к восточному корпусу вместо арсенала были пристроены помещения губернского правления в характерном для того времени провинциально-державном стиле. Второй высоченный этаж разделили пополам, а церковь, зал капитула и трапезную разбили простенками и перегородками на конуры для всевозможных титулярных и коллежских советников, коллежских регистраторов и губернских секретарей. Последние изменения облика цитадели приурочились к славным шестидесятым годам больших реформ и еще больших ожиданий. Именно в это время и было построено северное крыло с его роскошными паркетными залами, колоннадой и хорами, мраморными лестницами и закругленными окнами, рамы которых по-петербургски разделяли стекла на восемь частей.
