После 1282 г., когда берестейский воевода Тит успешно отбил очередное нападение мазовшан, город попал в долгую полосу военных столкновений между литовскими князьями и польскими королями. Берестье начинает ощущать проникающие удары и рыцарей Тевтонского ордена, а в 1334 г. даже ненадолго оказывается в их руках. Через три года сюда вошел князь Кейстут Гедиминович, но после 1348 г. город, как и всю Берестейскую землю, занимают поляки. В 1366 г. Берестье снова принадлежало Кейстуту. Его жители то участвуют вместе с ополченцами Витебска, Полоцка, Смоленска и других городов в сражениях с крестоносцами (битва на Стреве в 1348 г.), то сами отражают осады рыцарей. Так, их отряд во главе с Т. Эльнером, комтуром из Бальги, в августе 1379 г. ограбил и сжег город, но замка взять не смог.
В период борьбы между польским королем Ягайлом и князем Витовтом Берестейский замок зимой 1390 г. осадило королевское войско. После 10 дней обороны он сдался.
В том же году первым из городов Белоруссии Брест получил магдебургское право. К середине XV века он превратился в один из крупнейших центров, который польский историк Ян Длугош называл «пристанью и воротами в литовские и русские земли». Военное значение Бреста нашло отражение в гербе, полученном в 1554 г. На нем на красном поле изображался замок, стоявший у слияния двух рек.
Брест в конце XV — начале XVI в. ощущал на себе удары крымских татар. В 1500 г. около 15 тыс. их конницы подошло к городу, сожгло посад («место»), но замка взять не смогло. Тем не менее, татары ушли только после получения «окупа». Для городов Белорусского Понеманья Брест превратился в центр, где постоянно находилась высылаемая ими «сторожа от татар». В частности, мещанам Волковыска в 1507 г. великий князь приказывал: «А к Берестье в заставу мають ходити водле давнего звычая».
В замке имелось огнестрельное оружие, в том числе и пушки. В 1516 и 1523 гг. упоминается «пушкарь Берестейский Марко». Однако все оружие и припасы погибли в 1525 г., когда в результате катастрофического пожара «замок… Берестейский и паркан, и место, и брамы — все на корень выгорело». Мещане били челом королю передать в их руки право «у месте Берестейском мыто брати с купцов», обещая за это «ку обороне паркану гаковницы и порохи и иные потребы бронные справовати и к тому мосты мостики на Муховцы, на Угринце, на Струзе, у бронах и по улицам своим, где перед тым мощивали». Такое разрешение было дано сроком на 10 лет, но при этом мещанам напомнили, что обязательно также необходимо построить «паркан», который сооружали «как наши мещане, так и князские, и паньские, и духовные тыи вси мають делницы свои заробити потому, как и перед тым всим местом робили».
