Дуглас-Хьюм был неплохим премьер-министром. Он был искренним патерналистом, считавшим, что можно привлечь рабочий класс на сторону консерватизма. Долг же высшего класса, по его мнению, состоял в осуществлении компетентного управления страной. Лозунгом нового премьера был «прямой, откровенный разговор с рабочими массами». Если бы не всеобщее ощущение усталости от правления консерваторов и подозрение, что у них исчерпались идеи относительно развития страны, это даже могло сработать. Однако консерваторы просто казались старомодными. Дуглас-Хьюм не вдохновлял и не производил впечатления энергичного лидера. Напротив, новый глава лейбористов Джеймс Гарольд Вильсон — представитель умеренного течения партии — обличая «тринадцать потерянных лет при консерваторах», обещал новый период экономической экспансии и построение Новой Британии, гальванизированной «белым жаром технологии» и научно-технической революции. Технократ Вильсон казался лучшим главой правительства в новую небывалую эпоху. Тем не менее к концу избирательной кампании консерваторы сумели отыграть часть утерянной в начале поддержки, и на выборах 15 октября 1964 года лейбористы смогли получить перевес только в пять депутатских мандатов.
Маргарет Тэтчер сохранила место в парламенте, хотя ее большинство сократилось вдвое, до 8 802 голосов. Пост в правительстве остался в прошлом, и она переместилась на скамьи оппозиции. А вскоре начался кризис личной жизни. У Дениса случился нервный срыв. Помимо руководства фирмой (и ответственности за благосостояние двухсот ее работников), ему приходилось оказывать поддержку своей матери, тетке и сестре. Гиперэнергичная Маргарет была полностью поглощена политикой, и Денис не смог справиться с этим. Он внезапно отплыл в Южную Африку, где провел в отрыве от семьи два месяца. Позже Денис признавал, что его отъезд «потряс Маргарет». Ни Денис, ни Маргарет не знали, смогут ли сберечь брак. Однако Денис все же вернулся в Лондон и вскоре весьма выгодно продал фирму, получив на собственный счет 10 тысяч фунтов из 530 тысяч, заплаченных новыми владельцами за предприятие. Новые владельцы предложили ему место в совете директоров, и Денис сохранил эту позицию, когда произошло поглощение компании более крупным конкурентом. В 1965 году он купил большой загородный дом в Ламберхерсте, в графстве Кент, к юго-востоку от Лондона. Именно Ламберхерст стал для него настоящим домом, а не Лондон, где его удерживали лишь дела компании и политическая карьера жены. В 1975 году Денис Тэтчер подал в отставку с позиции директора и ушел на пенсию.
