Кремль являлся центральной частью крепости. Первоначально его окружал земляной вал длиной 178 метров. Затем был насыпан второй вал длиною 350 метров. Позднее кремль был обнесен деревянной стеной протяженностью 1300 метров, около 4 метров высоты и около 3 метров ширины. В стене было 13 башен — 11 глухих и 2 с воротами. На некоторых из них возвышались сторожни для дозорных.
Ворота, над одними из которых висел сполошный колокол, извещавший горожан о приближающейся беде, вели внутрь кремля, к княжескому дворцу. Кроме дворца были здесь дома бояр, дом воеводы, съезжая изба, острог, государевы житницы, дома для стрельцов и прочих горожан да несколько храмов.
Жизненным центром кремля была Торговая площадь. Здесь шла торговля воском и медом, овсяным киселем и шипучим квасом, стерлядью и белорыбицей, кафтанами и войлочными армяками, опарниками и кувшинами, зубчатыми серпами, подковами и замками. Замки, кстати, были символические, без запирающего механизма, и вешались на дверь в знак того, что хозяина нет дома. И та же Торговая площадь в иные времена становилась центром политических событий и военных баталий. Здесь князья и воеводы разговаривали с народом, здесь вершились суд и расправа, лилась кровь и свистели ядра.
Придавая Старице большое значение как одному из форпостов, тверские, а затем московские князья постоянно укрепляли ее. При Иване Грозном кроме всего прочего в крепостном валу, защищавшем посад, в скрытых траншеях были установлены батареи «полуторных тюфяков» — по тому времени весьма мощных орудий. В цокольном этаже Борисоглебского собора хранился припас (ядра) и зелье (порох).
Обороне служил и «тайнишный» ход длиною 54 метра, который уходил в землю у подножия Тайнишной башни и вел к Верхней Старице. Стены этого подземного хода были укреплены дубовыми бревнами, свод — белым камнем и кирпичом пирамидальной формы. Этим путем в осажденную крепость доставлялась вода, здесь же укрывались старики, женщины и дети. Остатки подземного хода были обнаружены в 1914 году краеведом Н. Зубаревым.
В брошюре «Город Старица и Вознесенский монастырь» Зубарев, сравнивая кремль в Старице с Московским Кремлем, находит, что в древности между ними было много общего: те же очертания, одинакового устройства стены и башни.
Московские князья неоднократно пытались завладеть Старицей. В 1375 году это удалось сделать Дмитрию Донскому. Через некоторое время тверской князь Михаил Александрович крепость вернул. Но позже Москва снова взяла верх, и с 1485 года Старица уже постоянно входила в состав Московского государства.
