Начало Великой Отечественной войны застало его на строительстве укрепленного района у реки Ломжа в должности полкового инженера 1-го стрелкового полка 17-й стрелковой дивизии Западного фронта.
С сентября 1941 года по февраль 1942 года служит старшим инженером по фортификации в инженерном управлении Карельского фронта, затем полковым инженером в 289-й стрелковой дивизии и бригадным инженером 61-й морской стрелковой бригады. С декабря 1942 года – помощник начальника штаба инженерных войск 32-й армии, с августа 1943 года – помощник начальника оперативного отдела штаба инженерных войск Карельского фронта. С мая 1944 года – дивизионный инженер 122-й стрелковой дивизии на Карельском, с ноября – на 2-м Украинском, затем на 3-м Украинском, фронтах.
После войны с октября 1945 года по январь 1946 года помощник и старший помощник начальника штаба инженерных войск армии в Прикарпатском военном округе, с февраля 1947 года – заместитель начальника отдела инженерного управления Приморского военного округа. В сентябре 1948 года назначен старшим офицером отдела, а с января 1949 года – начальником отдела управления штаба Главнокомандующего войсками Дальнего Востока. С мая 1953 года назначен начальником оперативного отдела, а с ноября 1955 года – начальником оперативного управления, заместителем начальника штаба Дальневосточного военного округа.
В 1957 году Огаркову было присвоено звание генерал-майора, он был направлен на учёбу в Военную академию Генерального штаба. После окончания Академии был назначен командиром 20-й гвардейской мотострелковой дивизии в Группе советских войск в Германии. В декабре 1961 года был назначен начальником штаба Белорусского военного округа. В 1965–1968 годах – командующий войсками Приволжского военного округа, затем – начальник Главного управления Стратегической Маскировки ГРУ генштаба Вооруженных сил. С марта 1974 года по январь 1977 года – заместитель министра обороны СССР, председатель Гостехкомиссии СССР. 8 января 1977 года генерал армии Н. В. Огарков назначен начальником Генерального штаба Вооруженных Сил СССР – первым заместителем министра обороны СССР. 14 января 1977 года ему было присвоено звание Маршала Советского Союза. За годы руководства советским Генштабом, Огарков подготовил и провел несколько самых крупных в истории отечественных Вооруженных Сил оперативно-стратегических учений и маневров на всех основных стратегических направлениях и с применением всех видов Вооруженных Сил, военно-научных и военно-промышленных органов. Крупнейшим из них стало оперативно-стратегическое учение под кодовым названием
