На пути в Куфу от Али отделились те, кто не согласился с правомерностью третейского суда. Они стали называться хариджитами, "вышедшими". По мнению этой части войска халифа, судьей мог быть только Аллах, а людям не дано судить по справедливости. Руководствуясь изречением "Ла тахким илла лиллах" ("Судить вправе только Аллах"), они тем не менее поступили вопреки этому - осудили Али.
Хариджиты переправились через Тигр и остановились у Нахравана в Ираке у отрогов гор Загроса. Тем временем суд в Думат ал-Джандале превращался в фарс. Амр, зная вспыльчивый характер Абу Мусы, ловко управлял дискуссией, вынуждая противника произносить опрометчивые слова под влиянием эмоций. В конце обсуждения Амр убедил Абу Мусу первым высказаться и сделать свое заключение. Абу Муса огласил мнение судей, что ни Муавийя, ни Али не достойны быть халифами, поэтому присутствующие должны выбрать нового главу государства. Вслед за Абу Мусой поднялся Амр и произнес следующее: "Вы слышали, что сказал уважаемый Абу Муса. Он объявил Али лишенным права на халифат. Я также согласен на это смещение и предлагаю вручить высокий сан моему господину Муавийе". Выступление Амра повергло слушателей в шок. Ситуация становилась двусмысленной, но Муавийя, на основании Решения судей, потребовал присяги.
Али не признал решение третейского суда законным и снова двинулся в поход на Сирию. Он призвал хариджитов вернуться и помочь ему восстановить справедливость, потому что суд совершился не по слову Аллаха. Но у хариджитов уже был свой халиф, и они усиленно вербовали сторонников. Такого поругания веры Али и его сподвижники допустить не могли, и войско халифа выступило к Нахравану. После долгих переговоров большинство хариджитов вернулось под власть законного халифа, часть отступников рассеялась в Ираке, а самые непримиримые выступили против Али с оружием в руках и были разбиты в сражении 17 июля 658 года.
На следующий год после этого в Египте трагически погибли два полководца халифа. Муавийя организовал мятеж против наместника Египта Мухаммеда ибн Абу Бекра. Малик ал-Аштар, посланный в Египет для усмирения бунтовщиков, был подло отравлен подкупленным Муавийей сборщиком податей, а Мухаммед ибн Абу Бекр погиб в сражении с отрядом Амра ибн ал-Аса, который затем победителем вошел в Фустат. Амр ибн ал-Ас умер в 664 году в Фустате, терзаемый страхом перед заслуженным воздаянием в загробном мире.
В течение двух лет, в 658-660 годах, отряды Муавийи совершали набеги на соседние с Сирией и Египтом гарнизоны и территории Халифата, но на крупные военные действия наместник не решался. В 660 году Муавийя провозгласил себя халифом и принял присягу от сирийцев и египтян.
