В 1935 году поступил в Военно-инженерную академию им. В.В. Куйбышева, в 1936 году – на специальный факультет Военной академии им. М.В. Фрунзе, который окончил в 1939 году. В звании майора был направлен на работу в НКВД.
В феврале 1939 года назначен заместителем начальника, затем начальником Главного управления Рабоче-крестьянской милиции НКВД СССР В конце июля в звании старшего лейтенанта госбезопасности занял должность заместителя начальника ГУГБ НКВД СССР – начальника 2-го отдела (СПО) ГУГБ.
С сентября 1939 года – нарком внутренних дел Украинской ССР После воссоединения Западной Украины руководил в Львове арестами солдат и офицеров польской армии и жандармерии, польской и западно-украинской интеллигенции, депортацией польского населения из приграничных районов.
Весной и в начале лета 1941 года руководил операциями по выселению антисоветских элементов из Латвии в Сибирь и Казахстан.
В феврале 1941 года назначен первым заместителем наркома государственной безопасности СССР, с июля 1941 года – заместитель наркома внутренних дел.
С декабря 1941 года ведал проверочно-фильтрационными лагерями для освобожденных из немецкого плена солдат и офицеров Красной Армии.
В августе – сентябре 1941 года возглавил оперативную группу НКВД по выселению немцев Поволжья в восточные районы страны.
8 октября 1941 года в соответствии с постановлением ГКО СССР возглавил секретную «пятерку», которая организовывала «проведение специальных мероприятий по предприятиям Москвы и Московской области» в случае взятия столицы немцами. В ее задачу входила подготовка подрыва крупных промышленных и транспортных предприятий, в том числе Московского метрополитена.
С октября 1941 по январь 1942 годов являлся начальником охраны НКВД Московской зоны, в функции которой входила борьба с дезертирами, уголовниками, пресечение беспорядков. В апреле 1943 года после очередного разделения наркомата внутренних дел на НКВД и НКГБ, остался заместителем Берии в НКВД. В феврале 1944 года один из руководителей депортации карачаевцев, калмыков, чеченцев и ингушей. Летом 1944 года занимался выселением из Крыма крымских татар, болгар, греков и армян. За эти операции вместе с Берией, Кругловым и Кобуловым был награжден полководческим орденом Суворова 1-ой степени и вместе с Кобуловым – орденом Красного Знамени. В том же году руководил репрессиями против антисоветских элементов и бойцов польской Армии Крайовой в тылу 3-го Белорусского фронта в Литве, затем выполнял аналогичные задачи в Польше.
