По прошествии нескольких месяцев стало совершенно ясно, что ее будущий муж чрезвычайно плохо распорядился своими картами. Он начал игру с хорошими картами на руках, а закончил практически ни с чем, его младший брат Георг VI обошел его на каждом ходу. Герцог наивно полагал, что его семья примет перетасованные карты, позволит пропустить несколько ходов и в будущем позволит ему продолжить игру как и раньше. Он считал, что мог стоять рядом с новым королем и давать ему наставления, как лучше сыграть. Это был один из его первых просчетов.
В середине января 1937 года он написал королю и пообещал делать все возможное, чтобы помогать ему, но умолял брата помочь прекратить постоянные атаки на него самого и миссис Симпсон. Наиболее болезненной, не считая слухов о романе миссис Симпсон с германским послом, была лживая история о том, что она сбежала с легендарными изумрудами королевы Александры, которые она отыскала у королевских ювелиров.
После письма последовали многочисленные телефонные звонки, в которых бывший король выступал против своей матери, королевы Марии, и его заикающегося брата. Виндзору было скучно и одиноко в своем австрийском убежище, и он завалил его просьбами, требованиями и ненужными советами, как лучше править королевством. Его звонки в Лондон были настолько частыми и длительными, что хозяйка дома, баронесса Ротшильд, шутила, что она не была членом «богатой ветви» семьи и беспокоилась, как ей оплачивать счета. Эдуард также беспокоился о своем финансовом положении, титуле его будущей жены и списке гостей и месте его свадьбы, которая, по его словам, пройдет после коронации в мае. Он хотел большую, грандиозную свадьбу, на которой бы присутствовали обе семьи. Бывшего короля ждало внезапное и жестокое пробуждение.
Напор герцога довел Георга VI до того, что тот потерял терпение и приказал телефонным операторам в Букингемском дворце прекратить автоматически соединять его с герцогом. Вместо этого он послал сэра Уолтера Монктона в Австрию, чтобы тот объяснил новые реалии жизни его брату.
Как тактично записал Уолтер Монктон: «Герцог Виндзорский особенно поспешно принимал решения и хорошо разговаривал по телефону, а король Георг VI был не так быстр и был обеспокоен дефектами своей речи».
Увеличивающийся разрыв между братьями уже не скрывался. Ситуация еще более усугубилась из-за подлых слухов, которые распространяли не только о герцоге, но и о новом короле. Георг VI решил не посещать Имперский дарбар в Индии зимой 1937–38 годов, этот отказ многие, особенно сторонники харизматичного герцога восприняли, как не соответствие своей должности. В обществе, которое после отречения готово было поверить чему угодно, появились слухи, что он так нервничал, что даже не хотел присутствовать на коронации в мае. Масло в огонь подлило и противоречивое выступление по радио архиепископа Кентерберийского Космо Гордона Ланга после отречения, в котором он щедро раскритиковал герцога и его социальный круг, а также обратил внимание на дефект речи нового короля.
