Гора поднималась над Подолом на 70–80 метров. Она именовалась, как уже было сказано, Киселевкой, а также Замковой. Эта гора, находящаяся в непосредственной близости от старокиевских памятников, как предполагают историки, в древности была заселена, на что указывают археологические раскопки. Позднее она, вероятно, стала местом совершения обрядов и захоронения. Незаселенной она простояла до того времени, когда литовцы начали возводить на ней замок.
Точная дата строительства замка не известна. Принято считать, что это произошло в конце XIV столетия, вероятно во время княжения Владимира Ольгердовича.
Строительство замков и других укреплений на новых территориях вписывалось в концепцию великого князя Литовского Витовта, который «нача созидати грады (замки) многи, заруби Киев».
Согласно более поздним данным, в замке была резиденция киевского воеводы, однако не известно, жили ли в нем киевские князья до того, как было отменено Киевское удельное княжество. По некоторым данным, киевские князья предпочитали жить в собственном замке на левом берегу Днепра напротив Подола. Можно вспомнить, что князь Михаил Всеволодович, вернувшийся в Киев после нашествия Батыя, также жил на Днепре вне стен древнего города. Вместе с тем нельзя с определенностью говорить, что это тот же замок.
Очевидно, киевский замок был неплохо укреплен. Так, в 1416 году войско ордынского темника Эдигея разгромило Киев, однако цитадель оказалась для него неприступной – «единаче замку тогда не може взяти в Кіеве Едика».
Как был устроен первоначальный замок, каков был его вид и кто в нем жил – неизвестно. Сведения о нем, а точнее о его преемнике, появляются после того, как деревянная крепость была разрушена во время нашествия в 1482 году крымского хана Менгли-Гирея – «пріиде Менгли-Гирей царь Крымскій Перекопьскіа Орда со всею силою своею на королеву державу и град Кіев взя, и огнем сожже».
Для постройки нового замка, который был возведен на месте старого, были вызваны «добродеревцы з верху» – более 20 тысяч человек из разных земель Великого княжества Литовского, а также 40 тысяч войска во главе с трокским воеводой Богданом Адриевичем (Андрушковичем) для охраны работников. Но замок получился с изъянами, которые пришлось ликвидировать. Вновь были согнаны работные люди, и на этот раз, как свидетельствуют источники, замок был «добре зароблен и поставлен так, как яко бы мело быть».
Замок строили из сосны. На его стенах были 15 башен: одна – четырехугольная, остальные – «на шесть углов округло». Башни были в три этажа, и каждый этаж был снабжен бойницами, «вси вежи с подсябитьем (выдвинутая вперед часть башни с отворами для сбрасывания камней, выливания горячей смолы на нападающих), а покрытьем добрым, с помосты с столъбами, с стрельбами земъными, середними, верхними, и выведены дахи стенъные повышей».
