Несмотря на перевод в бронетанковые войска майор фон Люттвиц по-прежнему оставался блистательным наездником и в 1936 году был назначен руководителем немецкой олимпийской конноспортивной команды. Его эскадрон достойно выступил на Олимпийских играх и завоевал несколько медалей, но в гитлеровской Германии Олимпийские игры не были играми в истинном смысле этого слова. Когда Люттвиц не смог получить труднодостижимой золотой медали, его совершенно неожиданно перевели в штаб 4-го кавалерийского полка в Инстербурге, Восточная Пруссия, в качестве внештатного служащего. В этой неофициальной ссылке он находился целый год. Кто-то в берлинском руководстве некоторое время помнил о его неудачах. Люттвиц обладал кое-чем, что сработало в его пользу: стремительная гитлеровская экспансия и моторизация вермахта требовали большого числа обученных офицеров для управления транспортными средствами и танками, а таких в наличии было не слишком много.
Летом 1937 года Берлин решил моторизовать 4-й кавалерийский полк, и 12 октября барон стал командиром этого полка, входившего в состав 1-й кавалерийской бригады. Когда осуществление программы находилось в самом разгаре, танковая инспекция сочла, что ею должен руководить офицер более высокого чина, и Люттвиц был понижен в должности до командира 1-го батальона.
1 марта 1939 года он получил звание оберстлейтенанта и принял командование 1-м разведывательным батальоном 1-го кавалерийского полка - в тот самый день, когда началась война с Польшей.
Большую ее часть батальон провел в резерве в Кенигсберге - столице Восточной Пруссии. Он догнал бригаду только 14-го сентября, когда снова соединился с 1-м кавалерийским полком у стен Варшавы. Два дня спустя оберстлейтенант фон Люттвиц был ранен, и его пришлось эвакуировать обратно в Кенигсберг для лечения. Его карьера во второй мировой войне началась несколько неудачно, если не сказать хуже.
До конца 1940 года Люттвиц был не в состоянии вернуться к обязанностям командира батальона. Однако в этом назначении большого удовлетворения он не нашел, потому что 1-й разведывательный батальон оставался на Востоке, в то время как другие танковые части покрыли себя славой во время шестинедельного похода во Францию. Люттвиц прохлаждался в Пруссии, занимаясь охотой на лис и совершая конные прогулки по сельской местности.
Он чувствовал себя крайне расстроенным, поскольку был амбициозным и патриотически настроенным офицером, которому больше всего хотелось бросить своих солдат в бой.
