Великую Отечественную войну майор Нестеренко встретил со своим 170-м полком. В четыре часа утра 22 июня станция Беняконь и город Лида подверглись бомбардировке немецкой авиацией. В тот же день Алексей Иванович получил приказ командира 21-го стрелкового корпуса генерала В. Б. Борисова вступить в командование артиллерией корпуса.
Уже 23 июня 170-й артиллерийский полк отражал прорыв фашистских танковых колонн у деревни Товстюны, 35 километров северо-западнее Лиды. Встречный бой был тяжелым, неравным. Полк был укомплектован не полностью, по штату мирного времени; на каждое орудие имелось всего по два номера расчета. Офицерскому составу полка, в том числе и его командиру Нестеренко, пришлось стать у орудий и действовать за наводчиков или номеров, отражая атаки немецких танков. В этом первом тяжелом бою было подбито 11 немецких танков. Но и полк понес значительные потери в людях и материальной части, остался практически без снарядов, подвоз которых со складов был в сложившейся обстановке невозможен.
Пришлось с боями отступать. Алексей Иванович в автобиографии писал: «23 июня 1941 года с полком отражал атаку немецких танков на западной границе под Белостоком в районе Эйшешенки и Радуни. В течение месяца мы вели тяжелые неравные бои, непрерывно отражали натиск превосходящих сил врага до тех пор, пока были снаряды, а затем с большими потерями отходили в район Пинских болот. В этих боях я снова убедился в силе огня артиллерии».
В июле Нестеренко прорвался с подразделениями полка из окружения к Мозырю, в полной форме, с оружием и полковым знаменем. Согласно приказу весь личный состав полка был передан во вновь формируемые в Калинковичах и Гомеле части, а Нестеренко с группой офицеров был направлен в резерв Западного фронта на станцию Мещерская, а затем под Ельню — для отбора лучших офицеров-артиллеристов. По дороге, в Москве, Алексей Иванович побывал в оперативном отделе Генштаба, для которого написал докладную записку с изложением опыта боев и своими соображениями.
В августе 1941 года в лагерях 1-го Московского Краснознаменного артиллерийского училища им. Л. Б. Красина в Алабине под Москвой Нестеренко сформировал 4-й гвардейский минометный полк реактивной артиллерии резерва Верховного главнокомандования в числе первых восьми формируемых полков «катюш». Полк был вооружен боевыми машинами БМ-13 на трехосном автомобиле ЗИС-6. 16 реактивных осколочно-фугасных снарядов М-13 с направляющих установки БМ-13 могли быть выпущены в течение 8–10 секунд на максимальную дальность до 8470 метров. В 4-м полку было три дивизиона по три батареи (четвертый дивизион был отправлен в Ленинград), 1414 человек личного состава (из них 137 офицеров), 36 боевых машин, 12 зенитных 37-миллиметровых пушек, 9 зенитных и 18 ручных пулеметов, а также 343 грузовые и специальные машины.
