По завершении операции с Кутеповым Яков Серебрянский приступил к созданию автономной агентурной сети в различных странах для организации диверсий на случай войны. 20 июля 1930 года он был зачислен на особый учет ГПУ в связи с выездом за рубеж. Работая за границей, Серебрянский лично завербовал около 200 человек. Румыния, США, Франция, Китай, Япония - вот география его нелегальных спецкомандировок. Созданная "Группой Яши" сеть действовала в Германии, Франции, Палестине, США, Скандинавии, на Балканах и состояла не только из секретных агентов ОГПУ и Коминтерна, но и из просоветски настроенных русских эмигрантов. Состав сотрудников группы был довольно разнородным. Здесь служили сын кулака, бывший белоэмигрант Андрей Николаевич Турыжников и сын раввина, в 20-е годы член германской Компартии Самуил Маркович Перевозников. Помощником, а затем заместителем Серебрянского был Альберт Иоахимович Сыркин-Бернарди, личность с крайне интересной биографией - сын владельца крупного книгоиздательства в Петрограде, а по материнской линии двоюродный брат писателя Юрия Тынянова.
В годы гражданской войны в Испании Серебрянский, которому 29 ноября 1935 года присвоили звание старший майор госбезопасности (аналог армейского генерал-майора) со своей группой участвовал в нелегальных поставках оружия республиканскому правительству. Так, в сентябре 1936 года сотрудникам "Группы Яши" при помощи агента по кличке Бернадет удалось закупить у французской фирмы "Девуатин" 12 новых военных самолетов якобы для некоей нейтральной страны. Самолеты доставили на приграничный с Испанией аэродром, откуда их под предлогом летных испытаний благополучно перегнали в Барселону. За эту операцию 31 декабря 1936 года Яков Серебрянский был награжден орденом Ленина.
Конечно, в условиях сложившегося в СССР в 1930-е годы политического режима спецгруппа вынуждена была заниматься не только разведкой и подготовкой к войне, но и принимать участие в борьбе Сталина с Троцким и его единомышленниками за рубежом. Так, одним из объектов разработки стал живущий в Париже сын Троцкого Лев Седов. В 1937 году по указанию отца он приступил к работе по организации 1-го съезда IV Интернационала, который должен был открыться летом 1938 года в Париже. В связи с этим руководство НКВД приняло решение о похищении Седова. Проведение операции, получившей кодовое название "Сынок", было поручено Серебрянскому. В ее подготовке принимали участие 7 членов группы. Однако похитить "Сынка" не удалось по причине того, что в феврале 1938 года он скоропостижно скончался от приступа острого аппендицита. Существует мнение, что его ликвидировали спецслужбы, однако документов, подтверждающих это, не обнаружено.
