Археологические и письменные источники свидетельствуют, что на всех этажах имелись покои и залы: на нижнем, перекрытом крипичным сводом, находилась тюрьма, выше — суд и архив. Жилые помещения занимали верхние этажи. Лестница для подъема располагалась в толще стены.
Всего для сооружения Лидского замка потребовалось около 23 тыс. куб. м валунов, около 1,5 млн. кирпичей, огромное количество извести и песка. Вымощены также были двор и откосы замковой возвышенности.
Размещение замка на болотистой низменности во многом сняло проблему водоснабжения. В ходе археологических раскопок на территории замкового двора найдено несколько средневековых колодцев. Немалое значение имел большой пруд на Лиде и Каменке, который закрывал прямые подступы с восточной и юго-восточной сторон.
За века своего существования Лида и ее замок неоднажды отбивали приступы врагов. Уже после смерти Гедимина, когда Лида стала столицей удела князя Ольгерда, а потом его сына Ягайлы, между князьями начались долгие распри за великокняжеский престол. Этим раздором воспользовались крестоносцы. В 1384 г. после продолжительной осады и штурма они захватили замок. В декабре 1392 г. отряды рыцарей во главе с командорами Яном Румпенгаймом, Конрадом Лихтенштейнским и их союзником князем Витовтом переправились возле местечка Алитус через Неман и по скованным морозом болотам подошли к стенам Лидского замка. Вместе с ними поискать грабительского счастья притащились и английские рыцари, которых возглавлял молодой граф П. Нортумберлендский.
Противник «зажег подзамче» и, ограбив город, осадил замок. Князь Дмитрий Корибут, который руководил его обороной, имел достаточно сил, но, напуганный рыцарями, решил оставить замок. Дождавшись ночи, он с гарнизоном направился в сторону Новогрудка. Рыцарям досталось большое количество оружия и военной амуниции.
Зимой 1394 г. крестоносцы вновь напали на Лиду. И снова в походе приняли участие английские рыцари во главе с графом Бэдфордом, а также французский отряд. Но на этот раз захватчикам поживиться ничем не удалось: жители сами сожгли свои дома и, закрывшись в замке, мужественно отразили все вражеские штурмы.
С 1396 по 1399 г. в Лидском замке жил изгнанный из Золотой Орды хан Тохтамыш: князь Витовт дал ему здесь пристанище, надеясь помочь ему вернуть трон, а затем использовать Тохтамыша в борьбе против Московского княжества. Однако в битве на Ворскле дружины Витовта были уничтожены войсками соперника неудачника-хана.
