В 1935 году Хюбе был назначен комендантом Олимпийской деревни, которую следовало возвести на пустырях, по соседству с казармами. Кроме того, он также отвечал за безопасность участников Олимпийских игр. Поскольку Гитлер лично следил за подготовкой "своей" олимпиады, ничего противоестественного не было в том, что он часто советовался с Хюбе. Вскоре стало ясно, что однорукий офицер был настоящим мастером своего дела. Это произвело на Гитлера такое сильное впечатление, что тот в августе 1936 года специально наградил Хюбе и произвел его в оберсты.
Когда началась вторая мировая война, Хюбе обратился в ОКХ с прошением поручить ему боевое командование. В начале октября 1939 года он стал командиром 3-го пехотного полка, но эта часть не была моторизованной, а почти все ее офицеры происходили из консервативной Восточной Пруссии. Оставшись недовольным таким назначением Хюбе использовал все свои связи в Берлине (возможно, и с самим Гитлером), чтобы добиться перевода. 15 мая 1940 года он получил командование 16-й пехотной дивизией, командир которой заболел. Это соединение должно было в скором времени быть преобразовано в танковую дивизию. Часть его уже была моторизована. Оберст Хюбе с исключительным профессионализмом возглавлял ее во Франции и 11 июня был произведен в генерал-майоры.
После капитуляции Франции Хюбе следил за преобразованием 16-й в танковую дивизию и присутствовал на учебной подготовке ее личного состава. Она должна была принять участие в захвате Югославии, но страна сдалась так быстро, что дивизия Хюбе не успела принять участия в боевых действиях. После того как Хюбе и его солдаты с триумфом вошли в Белград, они были направлены сначала в Силезию, а затем в Советский Союз.
Хюбе проявил себя выдающимся командиром танковых войск, блестящим тактиком при разработке и проведении как наступательных, так и оборонительных операций. Он принимал участие в ликвидации Уманского котла, в сражениях за Киев и за Ростов. Зимой 1941-1942 годов его войска обороняли плацдарм на реке Миус, сражались под Харьковом. Хюбе был награжден Рыцарским крестом с Дубовыми Листьями. 1 апреля 1942 года его произвели в генерал-лейтенанты. Вскоре во всей армии Хюбе завоевал репутацию стойкого, справедливого, не лишенного здравого смысла командира, известного отвагой и тактическим мастерством. Солдаты называли его "Der Mensch" ("человек"), имея в виду, что никто другой в вермахте не приближался к его положению. Подобные чувства испытывали к нему почти все солдаты 6-й армии.
