Для того чтобы сосредоточить «основное внимание органов прокуратуры на судебно-следственной деятельности», было признано необходимым ликвидировать разделение в структуре прокуратуры на общий и судебный надзоры, а также упразднить бюро жалоб. При этом предполагалось, что каждый отдел будет осуществлять весь комплекс задач, стоящих перед органами прокуратуры, начиная с разрешения жалоб и заявлений и заканчивая надзором за рассмотрением дел в судах. Вместо отдела общего надзора, судебного надзора и бюро жалоб были образованы следующие секторы: по делам промышленности; по делам сельского хозяйства; по делам торговли, кооперации и финансов; по делам водного транспорта; по делам административно-судебного и культурного строительства; по судебно-бытовым делам и сектор мобработы. Было учреждено также справочное бюро, которое давало посетителям необходимые разъяснения.
Прокурорам союзных республик, краев и областей предлагалось перестроить свою работу применительно к структуре Прокуратуры Союза. В небольших областях вместо секторов надлежало иметь ответственных исполнителей (прокуроров) «по отдельным частям работы», а в районных прокуратурах перестройка должна быть направлена лишь на изменение методов руководства.
В Прокуратуре Союза ССР сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее Главной прокуратуры водного транспорта, прокуратура по спецделам, сектор надзора за местами лишения свободы и управление делами.
Вышинский как квалифицированный юрист, наверное, понимал всю нелепость искусственного разделения отделов по производственному принципу. Поэтому, когда он стал прокурором Союза, то вновь перестроил работу органов прокуратуры по функциональному принципу, который, с теми или иными изменениями, сохранился и в наше время.
Неоценимую роль в дальнейшей централизации органов прокуратуры сыграло первое Всесоюзное совещание судебных и прокурорских работников, в работе которого Вышинский принимал самое деятельное участие. Оно открылось 23 апреля 1934 года в здании Прокуратуры Союза ССР. Доклад «Решения ХVII партсъезда и задачи органов юстиции» сделал прокурор Союза ССР И. А. Акулов. В своем выступлении он остановился на всех наиболее актуальных вопросах практической деятельности прокуроров, судей и народных следователей, проанализировал задачи, стоящие перед органами юстиции на современном этапе, обратив особое внимание на целый ряд «недочетов и извращений» и предложив конкретные меры по их устранению. Как писали тогда газеты, «докладчик говорил просто, без малейшей погони за вычурной красивой фразой».
