Оперативные группы создавались в соответствии с соглашением между Главным управлением имперской безопасности (РСХА) и Верховным главнокомандованием вооруженными силами Германии (ОКВ).
В середине мая 1941 Гейдрих поручил шефу гестапо (Амт IV) Генриху Мюллеру обсудить с военными властями соглашение о деятельности айнзатцгрупп в тылу войск, которым предстояло сражаться на Восточном фронте. Прямолинейный Мюллер восстановил против себя генерала Вагнера. Тогда Гейдрих поручил эту деликатную миссию ловкому дипломату и будущему шефу заграничного отдела СД (Амт VI) Шелленбергу, которому удалось уговорить военных, до этого времени твердо сопротивлявшихся каким-либо гестаповским действиям в своем тылу. Указания Гейдриха были жесткими: необходимо добиться, чтобы армия не только терпела присутствие оперативных групп в своем тылу, но и "вменила в обязанность своим ответственным службам оказывать полную поддержку всем мероприятиям этих групп, политической полиции и службе безопасности". Шелленбергу удалось успешно выполнить поручение, и в конце мая Гейдрих подписал соглашение. Он получил свободу действий на Востоке. Массовое уничтожение евреев в Лиепае (Латвия), 15–17 декабря 1941
Армии предписывалось оказывать помощь оперативным группам, снабжать их горючим и продуктами питания, предоставлять в их распоряжение средства связи и транспорт.
Было создано четыре айнзатцгруппы, разделившие между собой фронт по географическому признаку: А — страны Прибалтики, Б — Смоленск, Москва, В район Киева, Д — южная часть Украины. Во главе их были поставлены испытанные нацисты, давно уже забывшие, что такое угрызения совести, которую постоянно подвергал нападкам Гиммлер.
В состав каждой айнзатцгруппы входило от 1 тыс. до 1200 человек, распределенных между несколькими айнзатцкомандами. Профессиональный состав групп был тщательно продуман и взвешен. На 1 тыс. человек приходилось примерно 350 эсэсовцев, 150 шоферов и механиков, 100 членов гестапо, 80 сотрудников вспомогательной полиции (набиравшихся обычно на месте), 130 сотрудников полиции порядка, 40–50 работников уголовной полиции и 30–35 сотрудников СД. Полагалось также определенное число переводчиков, радистов, телеграфистов, управленческих работников и женский персонал, так как в эти подразделения убийц включались и женщины (от 10 до 15 на группу). Руководящий персонал состоял, естественно, из гестаповцев и небольшого количества сотрудников СД и уголовной полиции.
