К моменту этого успеха Гербергер был тренером сборной Германии уже 18 лет. Он возглавил ее в 1936 году, после того, как немецкие футболисты на играх XI Олимпиады, проходивших в Берлине, заняли лишь 6-е место. На этом посту Зепп Гербергер сменил Отто Нетца, помощником которого был с 1932 года. Еще раньше, в конце 20х годов, Гербергер и сам играл в сборной Германии, но провел лишь 3 матча. В качестве футболиста он не блистал, однако, возглавив сборную, с немецкой обстоятельностью, неспеша, начал выстраивать крепкую и надежную команду в соответствии с собственными тренерскими воззрениями.
К первому для Гербергера чемпионату мира 1938 года, проходившему во Франции, эта созидательная работа была далеко не завершена — немецкие футболисты сразу же выбыли из борьбы, уступив сборной Швейцарии, в то время одной из сильнейших в Европе. Тем не менее швейцарцы смогли победить лишь после переигровки, а первый матч закончился вничью — 1:1. Вполне возможно, сборной Германии не хватило лишь опыта международных встреч.
Взлет команды Гербергера пришелся на начало 40-х годов, когда он пригласил в сборную блистательного форварда из «Кайзерслаутерна» Фрица Вальтера, которому предстояло стать основным игроком чуть ли не на два десятилетия. Основную ставку Гербергер делал на слаженность всех звеньев своей команды и учил футболистов играть просто, в жесткой силовой манере, но эффективно. В то же время действия команды отличались разнообразием, потому что тот же Фриц Вальтер был в первую очередь высокотехничным, а не силовым игроком. Но он мог в одно мгновение укротить мяч и сделать сверхточную передачу, обостряющую атаку, и на этом Гербергер во многом строил тактику нападения.
Столь же тонко Гербергер учитывал индивидуальные особенности любого из своих футболистов и умело использовал их в матче против того или иного соперника. Иной раз производимые им перед игрой изменения в составе удивляли всех, но всегда действовали на удивление эффективно. К тому же Гербергер досконально изучал своих соперников, да и вообще старался быть в курсе всех мировых футбольных тенденций, для чего много путешествовал, просматривая игру самых разных команд.
Кстати, он стал первым из тренеров, кто перед выездным матчем своей команды в другую страну отправлялся туда заранее, чтобы с истинно немецкой педантичностью заранее проверить абсолютно все, что могло оказаться важным — от состояния футбольного поля до номеров гостиницы, где предстояло жить футболистам сборной.
