Спустя шесть месяцев, весной 1962 года, Джо первый раз принял участие в официальной любительской встрече, а закончил карьеру любителя на токийской Олимпиаде. Как любитель он провёл 41 бой и проиграл из них только 3 (Б. Матису — дважды и М. Галбрайту).
В качестве профессионала Фрэзер дебютировал в Филадельфии 16 августа 1965 года, нокаутировав в первом же раунде Вуди Госса. Обладая большой для тяжеловеса скоростью и страшной силы ударом левой, он из 25 профессиональных боёв не проиграл ни одного, 22 закончил нокаутом. С кулаками Джо «знакомы» Э. Мачен, О. Бонавена, Б. Даниэльс, Д. Эллис, Д. Кворри, Б. Матис, Б. Фостер и другие асы профессионального ринга.
В сентябре 1970 года Верховный суд США удовлетворил наконец протест адвокатов Мохаммеда Али, и в октябре знаменитый спортсмен снова вернулся на ринг, чтобы доказать свою силу и правоту. В Атланте (штат Джорджия) Али победил Джерри Кворри, а в декабре в Нью-Йорке — Оскара Бонавену. Теперь он спешил вернуть корону чемпиона. Матч был назначен на март 1971 года.
Узнав об этом, экс-чемпион мира Макс Шмелинг сказал журналистам: «Я знаю класс Али, он произвёл на меня впечатление в победных матчах с Листоном и многими другими. Фрэзера я видел только по телевидению, когда он победил Эллиса и Фостера. И всё же в этом бою я ставлю на Фрэзера. И вот почему. Али сделал большую ошибку, слишком рано согласившись на подписание контракта на такой безумно трудный бой. 43-месячный перерыв в выступлениях Али даёт Фрэзеру большое преимущество. Три раунда с Кворри не убеждают в обратном, а матч с Бонавеной показал, что Али ещё далёк от своей лучшей формы».
15-раундовый поединок был назначен на 8 марта в нью-йоркском зале «Мэдисон сквер-гарден». Было объявлено, что оба боксёра получат самый большой гонорар за всю историю спорта — по 2,5 миллиона долларов.
Оба боксёра приехали подписывать контракт в один из ресторанов на Манхэттене, где их уже ждали репортёры и фотографы. Все знали, что даже если боксёры и не питают взаимной неприязни, они всё равно должны будут пошуметь, покричать, «завести» друг друга. Так и случилось. Али вошёл в зал, громко крича: «Если он ударит меня — он будет лучше всех. Мы посмотрим, кто из нас чемпион. Если он достанет меня настоящим ударом — я стану на колени и скажу: „Ты чемпион“. Но у него нет ни малейшего шанса победить меня». Фрэзер не остался в долгу: «Могу предсказать, что вы не увидите пятнадцати раундов. Я остановлю его между первым и десятым раундами».
