Карлу II пришлось ограничиться только отдельными перестройками — Большой зал, сохранившийся ещё с тюдоровских времён, превратили в театр, а на берегу реки выстроили отдельные покои для короля с новомодными подъёмными окнами. Старые покои, тоже тюдоровский времён, обновили для новой королевы, Катерины Браганца, а новые, рядом с королевскими, отвели для королевских фавориток — властная и взбалмошная красавица Барбара Палмер, долгие годы бывшая любовницей Карла, заставила отделывать свои комнаты несколько раз подряд, пока, наконец, третий вариант её не устроил. Всего комнат во дворце было около полутора тысяч! Про хаотичный стиль Уайтхолла говорили, что он как нельзя больше соответствует такому же хаотичному стилю правления Карла II…
В 1670 году Кристофер Рен представил новый проект перестройки Уайтхолла, но работы снова так и не были начаты. С одной стороны, средств не хватало — впрочем, как всегда, с другой — Карлу разонравился Лондон, где кипела бурная жизнь и где было слишком много недовольных его правлением. Король даже подумывал перенести свою резиденцию в Винчестер. Но до этого так и не дошло — в 1685 году Карл скончался. В своём старом верном Уайтхолле.
Брат Карла, новый король Иаков II, не собирался никуда переезжать, а, наоборот, принялся за перестройку Уайтхолла, пусть и не глобальную, — так, для его второй супруги, Марии Моденской, выстроили отдельное здание, небольшой барочный дворец. Но Славная революция 1688 года, в результате которой его на престоле сменили дочь Мария и её супруг Вильгельм, штатгальтер Нидерландов, прервала его-планы.
Уайтхолл не подходил для слабого здоровья нового короля, Вильгельма III — он предпочитал Хэмптон-корт. Но Уайтхолл, в отличие от Хэмптон-корта, места отдыха и развлечений, продолжал оставаться королевским рабочим кабинетом. Королева Мария II успела только завершить строительство дворца Марии Моденской и разбить новую террасу для сада — увлекающаяся садоводством королева надеялась преобразовать старые сады Уайтхолла,
в 1694 году скоропостижно умерла от оспы. Её тело покоилось в главной королевской спальни Уайтхолла, пока его с почётом не препроводили в Вестминстерское аббатство.
Ещё в 1691 году некоторые постройки пострадали от очередного пожара, к счастью, относительно небольшого, повредившего в основном самые старые здания; теперь Уайтхолл в очередной раз планировали основательно перестроить. Однако в 1698 году огонь поглотил почти всё… Почти весь дворец, за исключением Банкетного зала. Как писал в своих воспоминаниях герцог де Сен-Симон, «огонь уничтожил Уайтхолл, самый большой и самый уродливый дворец Европы».
