Больница Святого Иакова (Сент-Джеймса) была покроена в Лондоне, писал английский историк XVI века Джон Стоу, «в незапамятные времена» — для больных проказой. Ещё в 1290 году король Эдуард I подтвердил права больницы на переданные ей участки земли и в канун Дня святого Иакова разрешил проводить там ярмарку (ставшую родоначальницей знаменитой некогда «May Fair», ежегодной майской ярмарки — она дала название одному из центральных кварталов Лондона, «Мэйфер»). В середине XV века больницу перестроили, а в 1531 году её выкупил Генрих VIII: «Король купил луга вокруг Сент-Джеймса, и сам Сент-Джеймс, и воздвиг там прекрасный дворец, и парк, и построил множество великолепных и просторных зданий». Сёстрам-монахиням, которые ухаживали за больными, было назначено содержание, самих больных распустили, а старое здание снесли. На его месте построили небольшой дворец из красного кирпича в типичном тюдоровским стиле. Сейчас от него сохранилась лишь часть с главным входом.
С самого начала Сент-Джеймс строили не как главную резиденцию — у короля были и Ричмонд, и Хэмптон-корт, и Уайтхолл, и другие, более скромные дома. Принято считать, что новый дворец предназначался для самой «роковой» из жён короля Генриха, Анны Болейн, женщины, ради которой он оставил королеву Катерину Арагонскую, которая так и не родила желанного наследника, зато стала матерью будущей великой королевы Елизаветы I, и которую король отправил на эшафот, обвинив в супружеской измене, инцесте и колдовстве. Инициалы Генриха и Анны и сейчас можно видеть над входом во дворец. Однако если учесть, что Анна стала королевой в 1533 году, а три года спустя её казнили, то вряд ли она успела пожить там — скорее всего, строительство закончили только к концу 1530-х годов.
Потолок часовни дворца, тоже частично сохранившейся до наших дней, расписывал Ганс Гольбейн. В то время Генрих собирался жениться в очередной раз, так что инициалы, украшающие часовню, относятся уже не ко второй супруге Анне Болейн, а к четвертой, Анне Клевской. Правда, этот брак оказался очень коротким, и неудивительно, что в одном из уголков часовни герб Генриха соединён с гербом Катерины Говард, его пятой жены — он развёлся с Анной и женился на Катерине в течение месяца, так что художнику, видимо, срочно пришлось дополнить роспись в честь новой, очередной королевы…
Окружённый полями и лесом, которые позднее превратились в парк, Сент-Джеймский дворец стоял достаточно уединённо, чтобы монарх, приезжая туда время от времени, мог отдохнуть и даже поохотиться. В конце XVI века испанский посол в Англии писал о дворце, что его «построил король Генрих для королевских отпрысков». Эдуард VI, единственный законный сын Генриха, мало бывал там — и когда был принцем, и когда стал королём. Зато во дворце Сент-Джеймс успел пожить Генрих Фицрой — бастард Генриха VIII.
