Али почти сразу же назвали преемником в Медине, но даже врагам Усмана было не по себе от признания халифом того, кто, хоть и не был виновен лично, тем не менее в большой мере был обязан своим восхождением цареубийству. Другие, не испытывавшие любви к Усману, все равно не спешили признавать нового халифа. Быстро образовалась проусманская партия, которая стала требовать наказания для виновных. Али не смог удовлетворить эти требования и нажил себе немало новых врагов тем, что отменил многие назначения, сделанные покойным халифом. Сопротивление ему началось с того, что Аиша, Тальха и Зубайр, которые уехали в Мекку, стали требовать возмездия. Триумвират собрал силы, чтобы действовать против Али, и перебрался в Басру, где надеялся получить поддержку местных жителей.
В октябре 656 года Али выступил из Медины во главе своего войска. Это событие имело двойное значение. Во-первых, оно отметило утрату Мединой положения столицы исламской империи, ибо уже никогда правящий халиф не жил там. Во-вторых, впервые халиф возглавлял мусульманскую армию, чтобы вести гражданскую войну против собратьев-мусульман.
Али со своим войском отправился в Куфу, где после переговоров с «нейтральным» правителем Абу Мусой вошел в город под приветственные крики горожан. Оттуда он выступил на Басру и разгромил силы триумвирата в так называемой Битве верблюда, так как главное столкновение происходило буквально вокруг верблюда, на котором сидела Аиша, «мать правоверных». Битва закончилась победой Али. Тальха и Зубайр были убиты, а Аишу отослали обратно в Мекку.
После короткой оккупации Басры, где Али не удалось привлечь жителей на свою сторону, он вернулся в Куфу, которая и стала его столицей. Он сделался владыкой всей мусульманской империи, но, несмотря на, казалось бы, силу его положения, оно было ослаблено племенными раздорами и неподчинением его сторонников, а также конфликтующими советами благочестивых, которые составляли большую долю его приверженцев и постоянно ставили под сомнение авторитет Али, подвергая его угрозе. В Сирии сильную позицию сохранял Муавия. Он стоял во главе централизованной власти – единственной в исламе того времени, правя в единой и организованной провинции, располагая хорошо подготовленной армией, дисциплинированной и получившей опыт в пограничных войнах с византийцами. Его позиция была сильна и в моральном плане. Он имел бесспорные права на титул, так как его назначил Умар, а назначение подтвердил Усман, последний признанный всеми халиф. Требуя возмездия за смерть своего дяди Усмана, он действовал в соответствии с арабским обычаем, который поддерживал сам Коран. В предыдущих столкновениях между Али и его противниками Муавия благоразумно сохранял нейтралитет. Даже теперь он не предъявлял претензий на халифат, но просто заявил, что требует справедливости, чем тонко, но неизбежно поставил под сомнение право Али на халифат, обвинив его в нравственном проступке – оправдании цареубийства. Его поддержали находчивый и циничный Амр и объединенные силы сирийской армии.
