Его первым открытым выступлением против Али был категорический отказ уступить место тому, кого Али прислал ему на смену. Вынужденный действовать, Али в конце концов вышел вместе с войском и встретился с сирийскими силами у разрушенного римского города Сиффин на берегах Евфрата в мае 657 года. Битве предшествовали, как часто бывало, переговоры, которые ни к чему не привели, в ходе которых Муавия потребовал выдать и покарать убийц Усмана и, возможно, отречения Али и созыва новой шуры для выборов халифа ислама. В конце концов воюющие стороны сошлись, и 26 июля силы Али возобладали над противником. Войско Муавии перед лицом поражения прибегло к уловке: воины подняли Коран на острия копий и стали выкрикивать «Пусть решает Аллах». Этот призыв к третейскому суду мог относиться лишь к вопросу цареубийства, так как они едва ли могли надеяться найти в Коране совет по проблеме халифата. Али разгадал хитроумный замысел, но влияние религиозной партии в собственном лагере вынудило его согласиться на перемирие. Было заключено соглашение, по которому обе стороны назначали арбитра, и оба вождя-соперника обязались подчиниться их вердикту. Муавия назначил своим представителем Амра – опытного и преданного ему переговорщика. Сторонники Али, истолковав функции арбитра в ином свете, заставили его воспользоваться услугами нейтрального Абу Мусы. Этой хитростью Муавия одержал моральную победу, в итоге низведя Али с положения халифа до положения претендента. Из-за суда у Али сразу же возникли и другие трудности. Группа его сторонников, недовольная этим шагом, взбунтовалась против него, и Али пришлось расправиться с ними в кровопролитном бою. Их назвали хариджитами (хаваридж), от арабского «выступившие» или «покинувшие», и они еще много раз оставят след в истории ислама.
В январе 659 года арбитры встретились в Азрухе. Арабские описания того, что последовало далее, безнадежно тенденциозны, но ясно одно: результат арбитража был неблагоприятен для Али и, вероятно, подразумевал его отречение. Он отверг вердикт, и положение вновь стало таким, каким было до Сиффина, за исключением того, что Али был еще более ослаблен отходом хариджитов и упадком боевого духа среди своих сторонников. В последующие месяцы он понес новые потери. Муавия сумел захватить Египет, таким образом лишив Али богатого источника финансов и снабжения, и продолжал безнаказанно совершать набеги и вылазки в Ирак, избегая серьезных сражений.
