Став прокурором Союза, Вышинский приступил к реорганизации органов прокуратуры. Он создал под своим председательством Центральную методическую комиссию, в которую вошли руководители аппарата Прокуратуры СССР и ученые, в частности Александров, Голунский, Викторов, Рогинский, Строгович, Уманский, Шейнин. Организовал гражданский отдел, во главе которого поставил своего помощника Б. Л. Борисова. Решительно перестраивалась служба статистики. Приказом от 28 февраля 1935 года в Прокуратуре СССР была организована информационно-статистическая часть (на правах сектора), подчиненная непосредственно прокурору Союза. Возглавил ее А. А. Герцензон.
С первых же дней вступления в новую должность Вышинский развил исключительную активность: поездки, совещания, встречи с активом, выступления с докладами следовали одно за другим. В марте 1935 года он побывал в Киеве, где лично ознакомился с работой прокуратуры. В апреле — заслушал доклад прокурора РСФСР В. А. Антонова-Овсеенко о работе органов прокуратуры по борьбе с выпуском недоброкачественной продукции. В августе он выступил с большим докладом на собрании Президиума Комакадемии, Института советского строительства и права и Института уголовной политики в связи с трехлетием закона от 7 августа 1932 года (об охране социалистической собственности).
11 мая 1935 года Вышинский издал приказ, одобренный Совнаркомом СССР, «Об усилении надзора за революционной законностью», который, безусловно, оказал огромное положительное воздействие на ситуацию с исполнением законов в наркоматах, местных Советах, на предприятиях, в учреждениях и колхозах.
10 июня 1935 года под председательством Вышинского в Прокуратуре СССР состоялось расширенное оперативно-производственное совещание. На обсуждение его участников было вынесено два доклада: о мероприятиях по общему надзору и о соцсовместителях (выступил Рогинский) и о работе с кадрами (доложил Вавилов). В докладе Рогинского по вопросам общего надзора основная мысль заключалась в необходимости решительной перестройки работы, начиная от Прокуратуры СССР и кончая районным звеном. Было предложено, в частности, установить тесную связь прокуратуры с правовыми отделами и юрисконсультами наркоматов, предприятий и учреждений, регулярно бывать в организациях, участвовать в работе исполкомов и т. п.
Подводя итоги обсуждения доклада Рогинского, Вышинский предостерег работников прокуратуры от двух опасностей: «удариться в крайность» и наблюдать за «всякого рода мелочами», что только отвлекало бы прокуроров от важнейшей работы; и «принятия на себя роли консультантов» для руководителей предприятий и организаций.
