В течение последующих нескольких месяцев, несмотря на слова поддержки и утешения Монктона, герцога пресекали на каждом пункте в списке его требований. Герцог чувствовал, что в какой-то момент он сможет вернуться к публичной жизни в Британии и империи только лишь в роли старшего брата, поддерживающего нового короля. В противоположность этому, король и двор видели его и его невесту в качестве угрозы, решение Эдуарда VIII поставить личные желания выше выполнения своего долга перед королевством абсолютно противоречило смыслу монархии.
Хотя герцог решил не жертвовать личной жизнью, он ожидал, что его младший брат, который был не так хорошо готов ни физически, ни умственно для неожиданного восхождения на престол, возьмет на себя тягостную задачу короля.
Королевскую семью также не покидал страх, восходящий еще к средневековью, что старый король ни в коем случае не может быть представлен в хорошем свете. При дворе, включая новую королеву, считали, что он должен оставаться в изгнании, так как он сам добровольно бросился во тьму. Любое преждевременное возвращение будет считаться угрозой новому королю и его порядкам. В Новый год отречение стало единственной темой для разговора королевской семьи.
Придворный библиотекарь Оуэн Моршед вспоминал, как король и королева много размышляли о неординарной личности Эдуарда и его умении очаровывать людей. Он заметил, что королева выразила негласный страх: если он расстанется с миссис Симпсон «будет опасно иметь такую сильную личность, такую притягательную личность, которая шатается и ничего не делает». Хотя премьер-министр Невилл Чемберлен пришел к мнению, что герцогу можно разрешить вернуться в Англию, только значительно уменьшить его королевскую роль, королева была неумолимо против этого. Как вспоминал Уолтер Монктон:
«Она естественно думала, что должна быть настороже, так как герцог Виндзорский, с которого другие братья всегда брали пример, был привлекательной, жизненно важной персоной, которая может объединить всех тех, кто критически относится к новому королю, который внешне был меньше одарен грацией, на которую так приятно смотреть».
Мнение королевы превалировало: на Даунинг-стрит приготовили 64-страничный доклад на тему предлагаемого финансового обеспечения нового герцога Виндзорского, основанный на потенциальных трудностях для короля и королевы, если свежеиспеченная американская герцогиня создаст конкурентный двор, финансируемый из государственного бюджета. Автор сэр Горас Уилсон предупредил:
