Но как коммунист и к тому же еврей, Треппер стал слишком заметен, и смена имени не избавила его от преследований полуфашистского режима Пилсудского. Он счел свое положение настолько опасным, что примкнул к сионистской организации и в 1926 году с её помощью эмигрировал в Палестину. Треппер стал сельскохозяйственным рабочим в киббуце, затем учеником в электротехнической фирме, но его продолжал манить соблазн подпольной революционной работы, и он вступил в коммунистическую организацию, известную под названием «Единство», где познакомился со своей будущей женой, школьной учительницей Сарой Майей («Любой») Бройд (разведенной, фамилия по мужу Оршитцер). Она родилась в польском городе Дрогобыче в 1908 году, за участие в политическом убийстве числилась в полицейских списках и сбежала в Палестину.
Так Треппер стал членом небольшой группы объединенных общей судьбой польско-еврейских коммунистов. Большинство из них училось в польских университетах, оказалось вовлеченными в революционную борьбу и затем перебралось в Палестину. Земля обетованная их совсем не привлекала. Представитель среднего класса Леон Гроссвогель, клерк Хилиль Кац, рабочий Альтер Стрем и секретарша София Познанская — никто из них не хотел оставаться в Палестине, все горели желанием вернуться в Европу, на поля революционной борьбы.
Но как выбраться из этой опаленной солнцем пустыни, которая никому из них не нравилась? Дорога была открыта — поступить на службу в Коминтерн или советскую разведку. Проложил этот путь для своих друзей один из группы студент-механик Исайя Бир.
Он выбрал Разведупр, отправился во Францию и начал работать информатором на химической фабрике, а затем создал рабкоровскую сеть, снабжая Советы данными о французской промышленности. Инструкции Бир получал через редакцию коммунистической газеты «Юманите» или местные организации французской компартии. К 1929 году он настолько упрочил свое положение в советской разведке, что вызвал из Палестины старого приятеля, Альтера Стрема, который стал у него помощником и в свою очередь позвал своих друзей, объединив их в разведывательную сеть Бира. Треппер прибыл в 1930 году, вскоре открыл у себя талант прирожденного разведчика и быстро вырос до самого удачливого коллеги Бира.
Треппер жадно поглощал поучения Бира, который вскоре сделал его специалистом по прикрытию своих маршрутов. Он научился искусству перевоплощения, способам обмана противника и мог вывернуться из самого затруднительного положения. Среди сыщиков парижского Сюрте Бир не зря получил прозвище «Фантомас». Он мог появляться и исчезать, как привидение. Казалось, ему были известны черные ходы всех домов Парижа, каждый подвал, каждый чердак; он постоянно ускользал от преследователей, которым оставалось только гадать по поводу его истинного лица. Когда в июне 1932 года его все-таки схватили, полиция была разочарована: вместо ожидаемого супершпиона перед ними оказался скромный студент, руководивший чем-то вроде молодежного шпионского клуба: в свои 28 лет Треппер был у них самым старшим.
