В 1934 году Яков Голос, несомненно при прямой поддержке Браудера, возглавил Центральную контрольную комиссию Компартии США, то есть фактически по степени влияния стал в партии вторым лицом.
На практике это означало, что Голос получил возможность привлечь к секретному сотрудничеству любого члена Компартии, обладавшего хоть какими-то разведывательными возможностями. Причем он всегда мог в случае надобности сослаться на мнение или даже рекомендацию генерального секретаря ЦК. В ряде случаев — довольно частых — привлеченные к такому сотрудничеству коммунисты даже не подозревали, что работают на советскую разведку, полагая, что передаваемая ими информация необходима Компартии в ее политической деятельности.
К тому времени в Компартии США сложилось два секретных аппарата. Политический аппарат «А» возглавлял Джозеф Петерс, уроженец Венгрии (настоящие имя и фамилия Шандор Голдбер-гер, псевдонимы «Александр Голдфарб», «Айседор Бурштейн», «Александр Стивенс», «Шандор», «Шторм»). Петерс руководил группой тайных членов партии, работавших в различных федеральных ведомствах в Вашингтоне, и был связан с резидентурой Разведупра. Помощником Петерса был Гарольд Вэр, сын одной из основательниц КП США Эллы Рив Блур, известной в рабочих кругах как «Матушка Блур». Гарольд несколько лет прожил в СССР — возглавлял американский сельскохозяйственный кооператив в Пермской губернии. Был женат на известной журналистке Джессике Смит, редакторе ежемесячного журнала Soviet Russia Today («Советская Россия сегодня»). После возвращения в США служил в управлении регулирования сельского хозяйства (англ. сокр. AAA) министерства сельского хозяйства. В 1935 году Вэр погиб в автомобильной катастрофе. После предательства одного из членов группы, некоего Уиттекера Чемберса («Карла»), Петерс от руководства группой был отстранен.
Несколько позднее все участники группы были переданы из Разведупра в ИНО — на связь Якову Голосу. Под его руководством группа значительно разрослась. Полученная от ее участников, в том числе новых, информация особо важную роль сыграла в ходе Второй мировой войны.
Второй секретный аппарат ЦК КПА — «В» под руководством Якова Голоса занимался уже только разведкой. Аппарат «А» фактически влился в аппарат «В». Посему сами термины аппарат «А» и аппарат «В» утратили какой-либо смысл.
Деятельность Голоса в предвоенные годы не ограничивалась территорией США. По воспоминаниям сына Дмитрия, его отец часто выезжал на довольно продолжительный срок — до нескольких недель — за границу. О географии этих поездок подросток догадывался по подаркам отца по возвращении домой. Так, явно из Германии прибыла замечательная действующая модель подводной лодки, а также модели самолетов, которые надо было самому собрать из деталей, упакованных в большую коробку своеобразного конструктора, из Китая, Индии и Японии в доме появились забавные фигурки, статуэтка Будды, искусно вырезанная из нефрита, другие сувениры. В Китае, знал Митя (тогда, впрочем, еще Милтон), по заданию Голоса поселился и работал его младший брат. Перед вторжением японцев брат успел отплыть из Шанхая последним американским пароходом.
