В октябре 1923 года стал кандидатом в члены ВКП(б) и уже в ноябре 1923 года, при содействии Блюмкина, принят на работу особоуполномоченным Закордонной части ИНО ОГПУ, а вскоре переведен в резерв ОК (Отдел кадров) с прикомандированием к ИНО, в связи с направлением на закордонную работу. В декабре 1923 года вместе с Блюмкиным выехал в Палестину, где в течение двух лет действовал с нелегальных позиций – сначала в качестве помощника Блюмкина, а потом самостоятельно.
Находясь на Ближнем Востоке, Серебрянскому удалось надежно внедриться в подпольное сионистское движение, привлечь к сотрудничеству с ОГПУ большую группу иммигрантов – уроженцев России: А. Н. Ананьева (он же И. К. Кауфман), Ю. И. Волкова, Р. Л. Эске-Рачковского, Н. А. Захарова, А. Н. Турыжникова и ряд других. Они и составили костяк его боевой группы, известной позднее как «группа Яши».
В 1924 году к Серебрянскому присоединилась его жена Полина Натановна, которая, хотя официально и не работала в ИНО ОГПУ, постоянно сопровождала его в многочисленных зарубежных поездках.
В 1925–1928 годах нелегальный резидент ИНО ОГПУ в Бельгии и во Франции. В 1927 году приезжал в СССР, где успешно прошел партчистку и был принят в члены ВКП(б).
В марте 1929 года вернулся в Москву. С 1 апреля 1929 года назначен начальником 1-го отделения ИНО ОГПУ (нелегальная разведка), одновременно руководителем Особой группы («группа Яши») при председателе ОГПУ. Под этим названием действовало независимое от ИНО разведывательное подразделение, задачей которого являлось глубокое внедрение агентуры на объекты военно-стратегического характера на случай войны, а также проведение диверсионных и террористических операций.
Летом 1929 года было принято решение о похищении и вывозе в Москву председателя РОВС генерала А. П. Кутепова, активизировавшего диверсионно-террористическую деятельность на территории СССР.
1 января 1930 года Серебрянский был переведен в резерв ОГПУ и вскоре вместе с заместителем начальника КРО ОГПУ С. В. Пузицкимвыехал в Париж для руководства этой операцией.
В воскресенье 26 января 1930 года сотрудники опергруппы Серебрянского втолкнули Кутепова в стоявший рядом автомобиль, сделали инъекцию морфия и доставили на борт советского парохода, стоявшего в порту Марселя.
30 марта 1930 года за удачно проведенную операцию Серебрянский был награжден орденом Красного Знамени.
По завершении этой операции Серебрянский приступил к созданию автономной агентурной сети в различных странах для организации диверсий на случай войны.
