С июня 1939 г. Василевский — заместитель начальника Оперативного управления Генштаба. В июне 1941 г. он генерал-майор. В ходе войны с августа 1941 г. — заместитель начальника Генштаба и начальник Оперативного управления, с июня 1942 г. — начальник Генштаба, а с октября одновременно заместитель наркома обороны СССР.
В годы войны ещё более окреп военный талант Василевского как крупного стратега и тактика. Он непосредственно участвовал в планировании и разработке важнейших операций Советских Вооружённых Сил, в решении главных вопросов по обеспечению фронтов людскими ресурсами, материально-техническими средствами, в подготовке резервов всех видов для действующей армии. Во время Сталинградской битвы 1942-1943 гг. Василевский был одним из авторов и исполнителей плана наступательной операции, координировал действия фронтов по ликвидации окружённой группировки немецких войск под командованием генерал-фельдмаршала Паулюса.
Как представитель Ставки Верховного Главнокомандования (ВГК) осуществлял взаимодействие между Воронежским и Степным фронтами в Курской битве 1943 г.; руководил планированием и проведением операций Южного и Юго-Западного фронтов по освобождению Донбасса. В январе—феврале 1944 г. координировал действия 3-го и 4-го Украинских фронтов в Криворожско-Никопольской операции, в апреле — действия советских войск по освобождению Крыма, с июня — действия 3-го Белорусского, 1-го и 2-го Прибалтийских фронтов в Белорусской операции. В феврале 1945 г. введён в Ставку ВГК и назначен командующим 3-м Белорусским фронтом. С июня 1945 г. — командующий советскими войсками на Дальнем Востоке. Под руководством Василевского осуществлена крупная перегруппировка войск, спланирована и проведена Маньчжурская стратегическая наступательная операция по разгрому Квантунской армии (9 августа—2 сентября 1945 г.).
После войны маршал Василевский — начальник Генштаба и 1-й заместитель министра Вооружённых Сил СССР. В 1949-1953 гг. — министр Вооружённых Сил (военный министр) СССР.
Член ЦК КПСС в 1952-1961 гг. Депутат Верховного Совета СССР в 1946-1958 гг. Награждён 8 орденами Ленина, орденом Октябрьской революции, 2 орденами Красного Знамени, орденом Суворова 1-й степени, Красной Звезды, «За службу Родине в Вооружённых Силах СССР» 3-й степени.
Дважды удостоен ордена «Победа».
Умер 5 декабря 1977 г.
Урна с прахом в Кремлёвской стене. Бронзовый бюст — в городе Кинешме Ивановской области.
В это зыбкое утро августа 1943 года Сталин прибыл в Кремль в плохом настроении, и это сразу заметил его секретарь генерал Поскрёбышев. Обычно вождь здоровался с ним, но сейчас, хмурый и озабоченный, он молча шагнул в кабинет. Поскрёбышев стоял в растерянности. Неожиданно Сталин громко спросил:
