Итак, Сент-Джеймский дворец снова стал «семейным гнездом», как это было при Карле I. В 1662 и 1665 годах соответственно на свет появились дочери герцога и его первой супруги, Анны, принцессы Мария и Анна, которые впоследствии по очереди стали королевами Англии (сама герцогиня Йоркская скончалась в этом дворце в 1671 году).
Хотя Карл II жил в другом дворце, и он, и в особенности его придворные часто навещали Сент-Джеймс — относительно уединённо стоящий дворец, рядом с которым был «огромный луг, всегда зелёный, по которому летом прохаживались дамы», был весьма привлекателен для весёлых прогулок. У некоторых же придворных дам были там и свои покои, в частности, у Барбары Палмер, Луизы де Керуайль и Гортензии Манчини — прекрасных, но капризных королевских фавориток. Луга и охотничий парк, разделявшие Уайтхолл и Сент-Джеймс, привели в порядок; советы по благоустройству давал будущий главный садовник Версаля, так что вскоре сады около Сент-Джеймса стали ещё более популярны. Настолько, что о так называемом «пруде Розамонды» говорили, мол, «каждый год там появляется около тысячи рогоносцев» — красавицы, гулявшие там, надо полагать, мало заботились о собственной добродетели.
Когда в 1685 году герцог Йоркский сменил на троне своего брата и стал королём Иаковом II, он переехал в главную королевскую резиденцию, дворец Уайтхолл. Сент-Джеймс же перешёл к его второй супруге, Марии Моденской. Очаровательная Мария, единственная дочь Альфонсо IV д’Эсте, герцога Моденского, была младше своего супруга на двадцать пять лет, но брак оказался весьма удачным. За исключением одного — Мария была католичкой, как и две её предшественницы — королева-француженка Генриэтта-Мария, супруга Карла I, и королева-португалка Катерина Браганца, супруга Карла II. Сам король Иаков тоже был католиком, и политическое напряжение в стране, в частности, межу католиками и протестантами, нарастало.
Летом 1688 года во дворце Сент-Джеймс после пятнадцати лет брака в королевской семье наконец появился на свет наследник, причём наследник-католик — это стало последней каплей. Стране не нужен был следующий король-католик, и разразившаяся Славная Революция заставила короля Иакова вместе с семьёй покинуть не только дворец Сент-Джеймс, но и страну.
Новые король и королева, Вильгельм III и дочь Иакова, Мария II, не захотели жить в Сент-Джеймсе, навещая его только время от времени, и в 1695 году, после смерти Марии, Вильгельм отдал дворец её младшей сестре Анне. Анна была единственной наследницей бездетной королевской пары, так что старый дворец как следует привели в порядок. А всего несколько лет спустя, в 1698 году, сгорел Уайтхолл, так что главную королевскую резиденцию перенесли в Сент-Джеймс.
