Строители удачно использовали рельеф местности, избрав для замка болотистую низменность, где речушка Каменка впадала в речку Лидею. На искусственном острове, насыпанном из песка и гравия, и было возведено это сооружение. Стены Лидского замка в плане напоминают трапецию, большое основание которой смотрит на север, туда, откуда чаще всего угрожала военная опасность. Перед северной стеной (длина ее около 93,5 м) лежал глубокий и широкий ров, который, видимо, наполнялся водой. Северную стену (длина около 80 м) прикрывали болотистые берега Каменки и Лидеи. Длина западной и восточной стен — соответственно 84 и 83,5 м.
Недалеко от северо-восточного угла замка толщу восточной стены прорезали два входа. Меньшие ворота («фортка») при ширине прохода 2,5 м и высоте 3 м имели стрельчатую арку, облицованную большемерным кирпичом. Вторые (приблизительно 4,5 м ширины и около 6 м высоты) завершались полуциркульной аркой.
Меньшие ворота были как бы «черным» повседневным входом. Большие же открывались только для торжественного въезда князя либо знатных гостей.
В южной стене замка, на высоте около 2 м от земли, находился полуциркульный проем высотой около 3,9 м и шириной около 2 м. Судя по всему, это был запасной выход для гарнизона в критические моменты обороны.
Южная стена интересна также тем, что здесь сохранились до наших дней древние бойницы. Они бескамерные и в плане имеют форму трапеций, обращенных широким основанием внутрь замкового двора. При одинаковой высоте бойницы имели разную ширину и три их типа чередовались на стене. Бойницы предназначались для стрельбы из луков и арбалетов, а позже — и из легкого огнестрельного оружия. По периметру замковых стен, ниже бойниц, шла деревянная галерея — помост («вулица»), устроенная на консольных балках. Подымались на помост по лестницам с перилами, которые размещались в северо-западном и юго-восточном углах замка.
Боевая галерея накрывалась специальной крышей, имевшей скат в сторону двора. Одновременно со стенами в юго-западном углу замка была сооружена башня в плане близкая к квадрату размером 11,3Х11,3 м. Толщина ее стен достигала 3 м. Высота, очевидно, была намного выше 12-метровых замковых стен.
Есть сведения, что именно в этой башне находилась православная церковь св. Георгия Победоносца, вынесенная отсюда в город в 1533 г.
Вторая башня располагалась по диагонали от первой, в северо-восточном углу замкового двора. Построена она позже, видимо, в 80-е годы XIV в. или на рубеже XIV и XV вв., когда повсюду в Белоруссии и Литве совершенствовались оборонительные сооружения для решительного отпора крестоносцам. План второй Лидской башни — перекошенный разносторонний четырехугольник размером 12Х12,5Х12,3Х12,15 м.
