В следующем, 1391 г. с помощью союзных ему рыцарей Витовт вернул себе Гродно. Однако этот противоестественный союз Витовта с крестоносцами был недолгим. В 1392 г. Островское соглашение примирило Ягайлу с Витовтом, объединив их в борьбе с общим врагом — Прусским орденом. Ответом на это стал немедленный поход в начале 1393 г. большого рыцарского войска, усиленного иноземным пополнением. Гродненский замок после 3-дневных штурмов был сожжен, захвачен и разрушен. Спустя несколько лет он вновь восстал из руин. Однако в 1398 г. сильный ночной пожар, во время которого едва не погиб вместе с семьей сам Витовт, обратил замок в пепел. После этого решено было более деревянных укреплений не строить. На пепелище вырос новый, каменный замок, на долю которого также выпало немало испытаний. Уже в 1402 г. крестоносцы испытали его на прочность, и он выдержал все штурмы.
Для своего времени Гродненский каменный замок был исключительно мощным сооружением, где гармонично сочетались благоприятные для обороны «крепости самородные» и мощный комплекс каменных укреплений, за стенами которого спасалось местное население. Замок возвели по периметру горы, и его стены образовали неправильный в плане треугольник. Стена, обращенная к Неману, достигала 120 м длины, стена со стороны Городничанки — 90 м, третье прясло, стена со стороны города, состояло из двух отрезков — 46 и 24 м. Толщина стен достигала 2,5–3 м. В замке было 5 башен, в том числе «вежа-брама», круглая в плане башня («столп») и три квадратные размером 12Х12 м в основании. В линии стен, обращенных к городу, размещался новый каменный дворец Витовта размером около 45Х15 м. Он был двухэтажный, с толстыми стенами, которые прорезали узкие, бойницеобразные окна, обращенные в сторону «поля».
50-метровый сухой ров отделял замок от города и Нижнего замка. Видимо, и его укрепления на рубеже XIV и XV вв. соорудили из камня. Остатки этих стен еще видны на гравюре Гродно 1568 г.
После Грюнвальдской битвы 1410 г. с крестоносцами, в ходе которой хоругва Гродненских ополченцев покрыла себя героической славой, для города началась полоса относительно мирной жизни. С врагом, который более ста лет терзал Белорусское Понеманье, было покончено.
Однако «городовая работа» осталась одной из важнейших повинностей горожан. Они следили за состоянием укреплений и отправлялись ежегодно на 60 дней для ремонта различных «украинных замков», в том числе и Виленского. В свою очередь, для военно-фортификационных работ в Гродно привлекались и жители Волковыска.
