Детинец средневековой Орши имел треугольную форму с несколько округленными углами площадью 0,57 га. По краю его был сооружен оборонительный вал. Он достигал высоты 4–5 м. Низ вала подпирался бревенчатой стенкой, закрепленной вкопанными столбами. Вдоль внутренней подошвы шла каменная вымостка. С напольной стороны детинец защищался оборонительным рвом шириной 14 м и глубиной около 6 м.
Уже в 1067 г. Орша, очевидно, представляла собой сильно укрепленный пункт, раз его не рискнуло осадить объединенное войско трех киевских князей. Сказать что-либо определенное о навальных деревянных конструкциях не представляется возможным. Вероятно, это были традиционные городни либо же мощный острокол, следы которых уничтожены в первой половине XIV в., когда при расширении площадки городища срыли вал. По краю увеличенной площадки насыпали новый земляной вал и возвели деревянные стены. Произошло это, вероятно, в 20-е годы XIV в., когда Орша вошла в состав Великого княжества Литовского. Город был хорошо укреплен и в 1397 г. выдержал осаду Смоленского князя Святослава. В 1401 г. Оршанский замок осаждал князь Свидригайло, «оршане же затворилися в городе и боронилися два дни и потом подали город».
С учетом стратегического размещения Орши здесь было начато дорогостоящее строительство каменного замка — крайне редкого для Восточной Белоруссии архитектурного сооружения. Его возводили не на первоначальном детинце, а на территории предградья за рвом. Детинец, таким образом, получил мощное прикрытие с восточной стороны.
Каменный замок в Орше возводился во время правления великого князя Витовта. Об этом свидетельствует один из документов, датируемый 1407 г. Речь идет о письме князя Витовта, которое он отправил из Орши в Кенигсберг (Кролевец) орденскому маршалу с просьбой ускорить присылку мастера каменных работ, так как «тот выпросился в Кенигсберг по разным делам и для взятия принадлежностей, которые необходимы для его работы, и нам обещал снова возвратиться до Троицы» (15 мая — М. Т.). «Ныне наши люди сообщали, что он еще не возвратился — пишет князь, — и наши работы приостановлены из-за его отсутствия, так как он настаивал, чтобы строительство без него не продолжалось. Поэтому мы просим Вас, милый господин маршалка, чтобы прислали нам того мастера каменных дел, ибо нам это довольно срочно надо или пришлите другого, чтобы наши работы не задерживались».
Фундаменты замка делались из валунов средних размеров на известковом растворе. Стены же сложили в технике «полосатой кладки», где ряды подогнанных валунов выравнены кирпичом.
