Репатриировавшись в Израиль в 1948 году, он поступил на юридический факультет Еврейского университета в Иерусалиме. В годы учебы был активистом студенческой религиозной организации «Явне» и генеральным секретарем Союза студентов.
После университета, который Галеви закончил с отличием, он был принят на службу в Армию обороны Израиля, где вскоре попал в Главное управление просвещения (ГУП). В 1957-1961 годах являлся редактором печатного издания ГУПа, посвященного актуальным вопросам армейской службы, а также общеполитической и военной ситуации в регионе.
Способности, проявленные Галеви на этом посту, — свободное владение английским, умение ясно и лаконично формулировать обрабатываемую информацию, а также организаторский талант были замечены тогдашним заместителем начальника «Моссада» Давидом Кимхи. В 1961 году он обратился к Галеви с предложением поменять место службы на более интересное и перспективное.
Придя после окончания курсов общей подготовки в «Моссад», протеже Кимхи был зачислен сначала в оперативный отдел, но вскоре переведен в подразделение «Тевель» («Вселенная»), отвечавшее за связи с аналогичными организациями за рубежом. В том числе и в тех странах, с которыми Израиль не поддерживал дипломатических отношений.
В 1967 году Галеви вошел в закрытый форум руководителей основных управлений «Моссада», а три года спустя был назначен представителем «Тевеля» в Вашингтоне. Там, кстати, он познакомился с тогдашним послом Израиля в США Ицхаком Рабином. До гибели последнего между ними существовали тесные дружеские отношения.
За время работы в США Галеви удалось установить тесные отношения не только с коллегами в американских спецлужбах, но и со многими высокопоставленными чиновниками в администрации президента Никсона, в частности, с советником хозяина Белого дома Дональдом Рамсфельдом. Однако он не ограничивался связями лишь с американской стороной. Он поддерживал отношения со многими предпринимателями и дипломатами с Ближнего и Среднего Востока, находившимися в то время в Америке. Именно на тот период приходятся его первые контакты с представителями Иордании, руководство которой как раз в начале 70-х годов вело беспощадную борьбу с палестинскими террористическими организациями.
После возвращения в Израиль Галеви было поручено курировать деятельность «Моссада» по организации репатриации евреев из тех стран, в которых этому препятствовали местные власти. Выполняя свои новые обязанности, он установил контакты со спецлужбами ряда государств Восточной Европы и Восточной Африки.
