Первые каменные стены возвели лишь через сто лет при Генрихе Втором Плантагенете и установили внутри первую круглую башню.
Главные строительные преобразования в Виндзоре происходили в XIII – XIV веках. Замок был подвергнут основательному ремонту, а в его окрестностях появились первые сады. Строили замок по классическим европейским канонам: сначала был возведен искусственный холм, на нем была построена центральная башня – донжон или цитадель. Изначально эта башня и была всей крепостью. Основание холма опоясали кольцевым рвом, а вокруг рва возвели две концентрические стены. Ров не удалось заполнить водой, она очень быстро просачивалась в Темзу сквозь почву. Так что в наши дни на дне рва разбит чудесный сад.
На протяжении всей истории короли и королевы улучшали его и добавляли дополнительные укрепления, чтобы гарантировать свою безопасность.
В 1350 году Эдуард III начал коренную перестройку замка. В течение 24 лет он демонтировал все существующие сооружения, кроме комендантской башни и некоторых незначительных зданий за территорией. Круглая башня была заменена на массивный донжон, который и является современным, церковь Святого Георга значительно расширена, и добавлены дополнительные крепостные укрепления. Именно Эдуард III учредил орден Подвязки. И по сей день церемония чествования новых членов ордена ежегодно проводится в церкви Святого Георга. Внутри церкви покоятся десять британских монархов: Эдуард IV, Генрих VI, Генрих VIII, Карл I, Георг III, Георг IV, Вильгельм IV, Эдуард VII, Георг V и Георг VI.
Королева Елизавета I перевела в замок весь свой двор во время жестокой эпидемии бубонной чумы 1563 года.
Во время гражданской войны Виндзорский замок был захвачен войсками Оливера Кромвеля, который продолжал контролировать замок до 1649. Виндзор в тот период, использовали ещё и в качестве тюрьмы, в которую был заключён сам Карл I, перед тем как его отвезли на казнь в Лондон. После тело короля было вновь возвращено в Виндзор для ритуального погребения в церкви Святого Георга. В конце войны в парламенте обсуждался вопрос об уничтожении замка. К счастью, замок уцелел. Голосование завершилось в пользу спасения замка с перевесом всего в один голос.
После восстановления монархии в 1660 году, король Карл II начал заново восстанавливать и обставлять замок. Карл был вдохновлён своими впечатлениями от французского дворца Версаль. После смерти Карла II в 1685 году Виндзор не использовался в качестве королевской резиденции вплоть до начала правления короля Георга III в 1806 году. Георг III лишился рассудка и не покидал замка до своей смерти в 1820 году.
