В 1937 году Гитлер назначил своего любимца главным инспектором имперской столицы по строительству. Шпеер должен был возглавить работы по перестройке Берлина. Архитектор разработал план реконструкции столицы Третьего рейха, которая, по расчетам фюрера, должна была стать столицей завоеванного им мира. Некоторые зодчие считали архитектурные идеи вождя немецкой нации «безумной сентиментальностью», Шпеер же открыто восхищался ими. Гитлер отвечал ему взаимностью, он мог часами рассматривать макеты и эскизы, выполненные Шпеером.
В 1938 году Шпеер получил должность прусского государственного советника и одну из высших наград Рейха — Золотой знак НСДАП. В августе 1941 года архитектор стал депутатом рейхстага от Западного Берлина, а после гибели в авиакатастрофе министра вооружений Фрица Тодта получил его министерский портфель и возглавил военностроительную организацию Тодта. С этого времени он перестал заниматься архитектурой. Круг его обязанностей значительно расширился, но он успешно справлялся с ними и умело руководил военной промышленностью Третьего рейха. Он добился роста производства после того как произвел структурные изменения, образцом которых было его собственное конструкторское бюро. Шпеер преуспел во многих сферах государственной деятельности. Он занимал должность Генерального инспектора водных ресурсов и энергетики, руководил Национал-социалистическим корпусом водителей, возглавлял главное партийное технологическое управление.
Вскоре под руководство Шпеера перешла практически вся промышленность Германии. В марте 1943 года ведомство, возглавляемое Альбертом Шпеером, вместе с расширением компетенции получило и новое название: Имперское министерство вооружения и военной промышленности. Благодаря своим талантам и поддержке Гитлера, Шпеер сосредоточил в своих руках всю военную экономику Третьего рейха, отобрав влияние у Имперского министерства экономики и ряда других ведомств. Ему удалось добиться запрета на вмешательство в кадровую политику своего министерства Мартина Бормана, ловкого царедворца и интригана.
Летом 1943 года под контроль Шпеера полностью перешла программа кораблестроения. Влияние архитектора росло, он даже попытался усилить его за счет НСДАП, но высшие партийные чины воспротивились и получили у Гитлера поддержку. В 1944 году, после неудавшегося Июньского заговора партийное начальство и СС стали активно вмешиваться в деятельность Шпеера, хотя доказать его связь с заговорщиками им не удалось. Отношения Гитлера со своим любимцем становились все прохладнее, и в ближайшем окружении фюрера заговорили о скорой замене Шпеера его заместителем, Отто Зауром. В последние месяцы войны Шпеер и вовсе отказался выполнять приказ Гитлера об уничтожении немецкой промышленности.
