21 июля 1941 года Маргелов сдал гарнизон в Муравьевских казармах и на следующий день поутру вместе с Гусевым прибыл в Ленинград. На Московском вокзале царило столпотворение и неимоверный гвалт — отправляли в эвакуацию детей. От вокзала до Смольного, где располагался штаб фронта, прошлись пешком. На Суворовском проспекте их дважды останавливал патруль и тщательно проверял документы, ссылаясь на то, что в город засланы немецкие лазутчики. Дежурный долго не мог связаться с начальником штаба фронта полковником Н. В. Городецким, но наконец в трубке раздался его голос: «Жду тебя, майор, ровно в 18 часов».
В распоряжении офицеров был почти целый день! В мирное время о таком подарке приходилось только мечтать. Теперь же Ленинград стал прифронтовым городом, и даже яркое июльское солнце казалось блеклым, а вода в Неве свинцовой. Невский изменился до неузнаваемости. Дворцы и памятники скрывали холщовые полотнища, маскировочные сети и нелепые пейзажи. На площадях торчали устремленные ввысь жерла зенитных орудий. Хотя в городе вот уже несколько дней действовала карточная система, офицеры смогли без проблем «отовариться» продуктами в Елисеевском магазине по «коммерческим» ценам. Они примостились перекусить на скамейке в Летнем саду, на аллеях которого шла поразившая их работа: группа людей, по внешнему виду мало напоминавшая саперов, рыла траншеи, в которые бережно укладывались скульптуры. Они молчаливо и сосредоточенно занимались своим делом даже после того, как надрывно завыли сирены и по соседству, с Марсова поля, заухали зенитки.
Разговор в Смольном был краток. Предписание гласило: «Майору Маргелову немедля прибыть в райком ВКП(б) Невского района и приступить к формированию полка 1-й гвардейской дивизии народного ополчения». От себя начштаба добавил: «Решение назрело и будет принято не сегодня-завтра. Остатки дисбата использовать по твоему усмотрению. Даю двое суток на передислокацию».
Гусев отправился на Волхов, а Маргелов, скоротав ночь у Бастина, наутро без труда отыскал новое место службы.
...Ополченцы. Слово это появилось на устах ленинградцев в конце июля 1941 года. Вновь ожил в нем великий патриотический смысл, поднимавший на защиту родной земли от вражеских нашествий народные ополчения Минина и Пожарского, фельдмаршала Кутузова... Война с фашистскими захватчиками едва ли не с первых дней стала народной.
Еще 27 июня 1941 года Военный совет фронта и городской комитет ВКП(б) приняли решение о формировании ленинградской «Армии народного ополчения» численностью в 200 тысяч человек. Каждый район Ленинграда, а их к началу 1941 года насчитывалось 15, обязан был отправить на фронт одну дивизию. Командующим этой армией был назначен генерал-майор А. И. Субботин. О составе дивизии вспоминает ленинградец В. Щеглов:
