В 1935 г. был назначен заместителем начальника полиции безопасности Киля. 1 мая 1937 г. он стал членом НСДАП (билет № 3959575). С октября 1937 г. по январь 1940 г. он начальник гестапо в Тильзите (сейчас город Советск Российской Федерации. — Я.С), одновременно исполняя обязанности командира подразделения СС в Гумбине (сейчас город Гусевск Российской Федерации. — П.С). Позже Грефе стал начальником гестапо всей Восточной Пруссии. 1 августа 1938 г. ему было присвоено звание оберштурмфюрера СС, а 9 ноября 1938 г. — звание гауптштурмфюрера СС. Был сотрудником главного управления СД. С 20 апреля 1939 г. — штурмбаннфюрер СС. Летом 1939 г. в Каунасе зондировал возможность создания «Великой Литвы», в состав которой планировалось включить Литву и Белоруссию. Установив хорошие взаимоотношения с руководством Департамента безопасности Литвы, Г. Грефе сотрудничал в раскрытии преступной деятельности разных международных групп аферистов и контрабандистов. Свободно владел русским языком, умел говорить по-французски и по-английски, неплохо знал литовский язык. В сентябре 1939 г. в Польше руководил 1-й оперативной командой V оперативной группы СС (Einsatskommando l/V). 16 июня 1940 г., по указанию руководства РСХА, ему пришлось интернировать в Эйткунай бежавшего из Литвы президента А. Смятону со свитой и обеспечивать их безопасность. Однако его попытки помочь своим хорошим знакомым — министру внутренних дел Литвы Казису Скучасу (Kazys Skučas) и директору Департамента государственной безопасности Литвы Аугустинасу Повилайтису (Augustinas Povilaitis) — перейти государственную границу между Литвой и Германией окончились неудачей. Вскоре Г. Грефе был переведён непосредственно в РСХА и 1 апреля 1941 г. назначен начальником группы VIС управления (эта группа курировала восточные государства, в том числе и Прибалтийские страны). Этот пост занимал до марта 1942 г. С марта 1942 г. был начальником школы руководящего состава полиции безопасности в Берлине. 20 апреля 1943 г. ему присвоено звание оберштурмбаннфюрера СС. Грефе был награждён Железным крестом II класса. Он трагически погиб в автокатастрофе 25 января 1944 г. в Берлине. За особые заслуги 15 апреля 1944 г. ему было посмертно присвоено звание штандартенфюрера СС. Бывший руководитель советской иностранной разведки Павел Судоплатов утверждал, что накануне Второй мировой войны Г. Грефе в Каунасе был завербован советскими специальными службами (мемуары Судоплатова были написаны им по памяти спустя много лет после окончания войны, кроме того, они подверглись литературной обработке, все это заставляет крайне осторожно относиться ко многим заявлениям П. Судоплатова. —
