Давид Астор был также тем, кто окончательно привёл Хаффнера в "Observer". После того, как семья издателя Астор поссорилась с многолетним главным редактором Дж. Л.Гарвином, Давид Астор столкнулся с задачей посреди войны выстроить новую редакцию для планировавшейся еженедельной газеты, что было непросто, поскольку множество хороших журналистов находились на военной службе. Новым главным редактором стал в конце концов Айвор Браун, который был в "Observer" не политическим редактором, а театральным критиком.
Таким образом возникла свобода рук. Вместе с двумя другими сотрудниками Хаффнер скоро стал определять политическую линию газеты — "враждебный иностранец", который ещё менее двух лет тому назад был интернирован. Давид Астор хотя и держал тесный контакт с редакцией, однако едва ли мог там присутствовать, поскольку он также был призван на военную службу. В такой ситуации, которую сам Хаффнер в вышеприведённом интервью описывает как "самое усердное время в моей жизни", Хаффнер работал сначала примерно пять лет. Его современники свидетельствуют, что он в это время стал интеллектуальным стержнем газеты. Когда же Давид Астор вернулся в гражданскую жизнь и приготовился к тому, чтобы стать в "Observer" "своего рода всемогущим властелином" — Хаффнер при этом играл на двойственной роли Давида Астора как владельца и главного редактора — дело дошло до первых трений между Себастьяном Хаффнером и Давидом Астором. Хаффнер привык к тому, чтобы в том, что он писал для газеты, пользоваться очень большой свободой, и не хотел больше отдавать эту свободу. К этому добавились политические разногласия. Имевшиеся вначале тончайшие трещинки спустя годы развились в разрыв между ними, что вылилось в возвращение Хаффнера в 1954 году в Германию и что вначале маскировалось под перемещение Хаффнера в Берлин в качестве корреспондента газеты. В 1961 году, за две недели до возведения стены, Хаффнер окончательно уволился из "Observer", поскольку газета, для которой он писал из Берлина, показалась ему слишком мягкой в берлинском вопросе. Длившееся почти десять лет развитие событий вплоть до окончательного разрыва с Давидом Астором было для Хаффнера прямо таки травматическим процессом, которого тем не менее нельзя было избежать, если он хотел сохранить свою независимость.
Наряду с трудностями с Давидом Астором при возвращении в Германию нечто другое играло для Хаффнера важную роль: в отличие от других успешных в Англии или в США эмигрантов Хаффнеру не удалась полная ассимиляция. Это тянуло его — с некоторой задержкой — обратно в Германию, прежде всего, после того, как отношения с Давидом Астором стали непоправимо испорчены.
