Фрай прибыл в Марсель в августе 1940 года. Здесь он основал Американский центр помощи, который под видом финансовой поддержки людям, оказавшимся без средств, занимался тайной переправкой их за границу. Фрай бросил вызов не только французской полиции и службам безопасности Виши (в оккупированной Франции под давлением нацистского начальства они производили аресты), но и неуклюжему, забюрократизированному и часто равнодушному, если не откровенно враждебному, Госдепартаменту США.
После капитуляции Франции Американской федерации труда (АФТ) удалось убедить Госдепартамент выдать срочные визы ряду видных европейских лидеров рабочего движения, в том числе младшему брату Модильяни Джузеппе — руководителю Итальянской социалистической партии. Однако беженцам для выезда за пределы Франции по-прежнему требовались транзитные визы. Представитель АФТ Фрэнк Бон трудился в Марселе и добывал визы всеми средствами, включая подлог, но вскоре вынужден был бежать. На его место и заступил Фрай. Он составил свой собственный список выдающихся писателей, художников, музыкантов и ученых, которым, по его мнению, угрожал гитлеровский режим.
Предполагалось, что миссия Фрая ограничится мировыми знаменитостями — писателями вроде Лиона Фейхтвангера и Франца Верфеля или сына Томаса Манна Голо. Тем не менее агент находил способы обойти это ограничение и включить в список, который он ежедневно телеграфировал в Нью-Йорк, людей не столь известных, а подчас и рядовых граждан. Несмотря на то что вокруг Центра помощи сжималась петля, Фрай вместе с небольшой группой единомышленников, презрев риск, добывал фальшивые паспорта и другие документы, занимался отмыванием денег, раздавал взятки и нелегально покупал и арендовал небольшие рыболовецкие суда. Он даже лично переводил по горным тропам в Испанию группы беженцев. Прежде чем власти перекрыли ему кислород и выслали из страны в сентябре 1941 года, ему удалось тайно вывезти из Франции более 1500 человек.
Вот уже несколько месяцев Фрай хлопотал об американской визе для Шагала и его семьи, и наконец в марте 1941-го он вместе с американским консулом Гарри Бингемом прибыл в Горд — появление роскошного автомобиля в глухой деревушке произвело сенсацию. В Америке деньги на переезд Шагала пожертвовали такие еврейские знаменитости, как предпринимательница Элена Рубинштейн и актер Эдвард Г. Робинсон. Последний, впрочем, отказался выделить средства для Иды и ее мужа Мишеля.
