В первые месяцы войны по ходатайству П. А. Судоплатова нарком внутренних дел СССР Л. П. Берия отдал распоряжение освободить из-под следствия и из лагерей более 20 человек из числа осужденных сотрудников советской разведки, в том числе Я. С. Серебрянского, И. Н. Каминского и П. Я. Зубова, которые были приняты на работу в Особую группу.
18 января 1942 года Павла Анатольевича назначают начальником 4-го Управления НКВД СССР. Руководил партизанскими и разведывательно-диверсионными операциями в ближних и дальних тылах противника, координировал работу агентурной сети на территории Германии и ее союзников.
После выделения из состава НКВД органов госбезопасности 12 мая 1943 года назначен начальником 4-го Управления НКГБ СССР. Одновременно по 14 мая 1946 года являлся заместителем начальника Разведывательного управления НКГБ СССР.
С февраля 1944 года он — начальник группы «С» при наркоме внутренних дел СССР. Руководил обобщением материалов по атомной проблематике, полученных агентурным путем.
В 1945 году П. А. Судоплатову было поручено возглавить объединенную группу НКВД — НКГБ по составлению для И. В. Сталина и В. М. Молотова информационно-аналитических материалов к Ялтинской конференции. В задачу группы входили оценка потенциала Германии для продолжения войны, а также изучение возможной позиции союзников на Ялтинской встрече. Аналитикам группы удалось создать психологические портреты членов американской и английской делегаций, определить мотивацию их поведения, что для советского руководства подчас было не менее важно, чем агентурные материалы.
В 1945-1947 годах Судоплатов П. А. под прикрытием советника НКИД П. Матвеева участвовал в подготовке и проведении конфиденциальных переговоров наркоминдела СССР В. М. Молотова с Чрезвычайным и полномочным послом США А. Гарриманом и лидером курдского национального движения М. Барзани.
22 мая 1945 года он становится по совместительству начальником отдела «Ф» НКВД СССР, созданного для работы на территории стран, освобожденных Красной Армией от противника, а также для сбора информации от граждан СССР, побывавших в плену или интернированных в странах Европы. 30 августа 1945 года в связи с расформированием отдела освобожден от этой должности и назначен начальником особого Бюро при наркоме Госбезопасности — информационно-аналитической службы.
27 сентября 1945 года его назначают начальником (по совместительству) созданного на базе группы «С» самостоятельного отдела «С» НКВД СССР, а 10 января 1946 года — НКГБ СССР. Одновременно он руководит объединенным разведывательным бюро Специального комитета при СНК/Совете Министров СССР по проблеме №. 1 (создание атомного оружия). Отвечал за координацию обеспечения разведывательными материалами руководителей и ведущих ученых советского ядерного проекта.
