Тем временем положение становилось все более угрожающим. Вечером 31 августа пришло известие, что британцы взяли Амьен, в котором было не то 3, не то 4 неповрежденных моста, и теперь их танки беспрепятственно наступают на Альберт. В этой ситуации Шульце здраво решил, что не имеет другого выбора, кроме как оставить Альберт и отступать, пока Пэтш удерживает позиции у Перонна. Запрос в штаб I танкового корпуса СС насчет разрешения на отход остудил его пыл: пришел приказ защищать Альберт до последнего человека. В эту же ночь боевая группа «Шульце» была окружена в Альберте. В последовавшем жестоком уличном бою Вильгельм Шульце был убит, а его группа понесла тяжелые потери. Однако 2 сентября оставшиеся в живых эсэсовцы сумели прорваться из города.
Что касается Пэтша, то он оборонял свой сектор до ночи 1 сентября, а потом отступил к Камбре. В боях 1—2 сентября погибли командиры 6-й и 7-й батарей 10-го артиллерийского полка СС (оберштурмфюреры СС Артур Габль и Дитрих Лютер) и командир 1-й батареи 10-го зенитного дивизиона СС гауптштурмфюрер СС Рудольф Рабриг.
2 сентября пришел приказ Моделя отходить на новую линию обороны, которая тянулась от устья Шельды через Антверпен, а затем вдоль Альберт-канала к Маастрихту и к Западному валу. Теперь битва за Францию закончилась, и уцелевшие немецкие войска искали спасения либо за укреплениями «Линии Зигфрида», либо за многочисленными голландскими реками и каналами. Даже на этой стадии отступление немецких войск иногда переходило в бегство. Командир зенитного орудия из 1-й батареи 10-го зенитного дивизиона СС шарфюрер СС Шифреггер во время отхода сначала «потерялся», а затем растерялся и предложил своему расчету бросить орудие и разойтись. Солдаты отвергли это предложение, а роттенфюрер СС Гельмут Буттлар, имевший до этого серьезные дисциплинарные проблемы, взял командование на себя. Ему удалось привести весь расчет и орудие в расположение батареи. За это командир батареи оберштурмфюрер СС Готтлоб Эллвангер наградил Буттлара Железным крестом 2-го класса и произвел в унтершарфюреры СС.
В этот же день, как только позволила обстановка, командир 10-го разведывательного батальона СС вручил Рыцарский крест обершарфюреру СС Эриху Реху, которым тот был награжден еще 23 августа. Одновременно Рех получил известие, что ему присвоено звание унтерштурмфюрера СС, со старшинством от 17 августа.
Достигнув Камбре, Хармель получил приказ вести свою дивизию в район сосредоточения II танкового корпуса СС у Хассельта. Таким образом, дивизия СС «Фрундсберг» снова вернулась в подчинение 2-го танкового корпуса СС. Движение было трудным и хаотичным, дороги были забиты отступающими немецкими войсками, и повсюду царил постоянный страх еще одного союзного окружения. Причем страх небезосновательный: британцы продвигались весьма быстро, кульминацией их продвижения стал захват Антверпена 4 сентября 11-й бронетанковой дивизией. Тем не менее, люди Хайнца Хармеля сохраняли порядок и дисциплину. По пути эсэсовцы подбирали транспорт, брошенный панически отступающими частями вермахта, и включали его в свои подразделения. Кроме этого, Хармель приказал забирать также оружие, экипировку и продовольствие с армейских складов, часто даже с применением силы. Штурмман СС Ханс Михельсен вспоминал, как на армейском складе у Монса он и его товарищи загрузили несколько грузовиков продовольствием для свой роты, сделав это под прикрытием двух пушечных бронетранспортеров. Склад в этот момент готовился к подрыву, но его комендант все равно отказывался выделить солдатам продовольствие без соответствующих документов
