Положение предусматривало, что Прокуратура Союза состоит из отделов, возглавляемых старшими помощниками или помощниками прокурора Союза. Число отделов и штаты устанавливались прокурором Союза по согласованию с Наркоматом рабоче-крестьянской инспекции.
Распоряжения прокурора Союза могли отменить (или приостановить) только ЦИК СССР и СНК СССР. Прокурор участвовал с совещательным голосом в заседаниях Президиума, Совнаркома СССР, Совета труда и обороны и Комиссии исполнения при СНК. Он имел право законодательной инициативы.
С самого начала работы в Прокуратуре Вышинский стал активно использовать судебную трибуну для борьбы с преступлениями, «врагами народа» и «контрреволюционерами». Одно из первых дел, в котором он принял участие в ранге заместителя прокурора Союза, было дело о некомплектной отгрузке комбайнов, рассматривавшееся уголовно-судебной коллегией Верховного суда СССР с 16 по 22 августа 1933 года. Суду были преданы 11 крупных хозяйственных руководителей, в их числе заместитель начальника Союзсельхозснаба Реттель, начальник управления сбыта Союзсельмаша Моев, директор Запорожского завода «Коммунар» Шабашвили, его заместитель Дик и другие. Основанием для возбуждения дела послужили многочисленные факты некомплектной отгрузки комбайнов заводом «Коммунар», что приводило к их длительным простоям. И хотя следствием не было выявлено какого-либо злого умысла со стороны обвиняемых, Вышинский в своей речи пытался представить дело как «отражение еще не оконченной в стране классовой борьбы». Подсудимых он называл проводниками «капиталистической партизанщины» и «враждебных советскому социалистическому строительству настроений, традиций, привычек, взглядов, методов работы», а их действия — как «прямой заговор группы государственных служащих против советского закона». И все же в этом процессе он был пока еще склонен «всякое сомнение толковать в пользу подсудимого» и даже посчитал излишним «излагать рецепты наказаний для каждого из подсудимых». Может быть, поэтому судьи и вынесли довольно мягкий для тех лет приговор — пятерым они определили принудительные работы, а остальным — общественное порицание или предупреждение.
В марте 1934 года прокурор Союза И. А. Акулов издал приказ «О перестройке аппарата прокуратуры в центре и на местах». Наверное, если бы он был более сведущим в прокурорской деятельности, то не стал бы разрушать уже сложившуюся и хорошо зарекомендовавшую себя структуру аппарата прокуратуры, построенную по функциональному принципу. В приказе отмечалось, что отделы перестраиваются по производственному и производственно-территориальному принципу. По мнению руководства Прокуратуры Союза ССР, это должно обеспечить «высокое качество работы по охране общественной (социалистической) собственности и осуществлению социалистической законности» во всех сферах народного хозяйства и государственного аппарата, усилить единоначалие и личную ответственность каждого прокурора за порученную ему работу.
