Сын красавицы Елизаветы Блаунт, фрейлины королевы Катерины Арагонской, крестник кардинала Томаса Вулси, Фицрой был хотя и незаконным, но любимым ребёнком. Когда ему было шесть лет, король даровал ему титул герцога Ричмондского и Сомерсетского. В ноябре 1533 года его женили на Мэри Говард, двоюродной сестре Анны Болейн — незадолго до этого, в мае, Анна стала женой Генриха VIII. Может быть, юный герцог и достиг бы ещё больших высот при дворе (хотя вряд ли отец назначил бы его наследником), но в 1536 году, в возрасте всего семнадцати лет, он скончался в Сент-Джеймском дворце, скорее всего, от болезни лёгких.
После смерти самого Генриха в 1547 году во дворце некоторое время жила его вдова Катерина Парр, впрочем, Ненадолго его пережившая — вскоре она вышла замуж и умерла при родах. Катерина, достойная леди, заботилась обо всех детях супруга, и Мария, дочь короля от Катерины Арагонской, навещала мачеху в Сент-Джеймском дворце.
Когда в 1553 году она взошла на престол, то именно этот дворец стал её любимой резиденцией. Там она тосковала по мужу, испанскому принцу Филиппу, который надолго оставлял её одну, там в 1558 году она подписала договор, по которому англичане лишились Кале, которым владели много лет. В ноябре того же года королева Мария, которая вошла в историю как жестокая «Кровавая Мэри» и которая на самом деле была несчастной женщиной в сложные времена, скончалась. Её тело несколько недель покоилось в королевской часовне Сент-Джеймского дворца, прежде чем было захоронено в Вестминстерском аббатстве.
Королева Елизавета, сменившая Марию на троне, тоже часто бывала в этом дворце — в Уайтхолле она занималась государственными делами, а в тихом Сент-Джеймсе отдыхала. Скажем, в 1564 году Роберт Дадли, фаворит и близкий друг Елизаветы, подучил титул графа Лестера, и это событие там пышно праздновали. В Сент-Джеймсе же, в 1588 году, Елизавета ожидала новостей, когда корабли испанской Великой Армады двинулись на захват Англии. Молитвы королевы были услышаны — страна была спасена, потрёпанный испанский флот с трудом вернулся обратно.
В 1604 году дворец перешёл во владение Генриха Фредерика, старшего сына короля Иакова I. Стюарты, переселившись из Шотландии в Англию, принялись обновлять и перестраивать доставшиеся им в наследство от Тюдоров дворцы. Наследник престола, круг интересов которого был очень широк, дополнил Сент-Джеймс и специальным помещением, в котором была пушка — принц увлекался артиллерией, приказал разбить тутовый сад — для разведения шелкопрядов и т. д. Так же, как и в Ричмонде, и в Уайтхолле, здесь разместились коллекции произведений искусства — дело, которым увлекались и король Иаков, и оба его сына — Генрих-Фредерик и будущий Карл I.
