Еще при избрании первого халифа сторонниками прав Али на халифат выступили три сахаба: Абу Зарр ал-Гифари, Микдад ибн ал-Асвад и Салман ал-Фариси. В Дамаске Абу Зарр (ум. в 653 г .) в присутствии наместника Сирии Муавийи проповедовал против роскоши и жадности ставленников Усмана и о праве на халифат представителей семьи Пророка, то есть Али и его сыновей от Фатимы - Хасана и Хусейна. Муавийя отослал Абу Зарра в Медину к халифу Усману.
Сторонником Али был и Абдаллах ибн Саба, принявший ислам еврей из Йемена, начитанный в Священном Писании. Он указывал, что у каждого из прежних Пророков был помощник, васи. У Моисея - Аарон, у Иеремии - Варух, у Иисуса - апостол Петр. Таким же васи у Мухаммеда был Али.
Принцип наследственности высшей власти в Халифате приверженцы Али основывали на том, что халиф должен происходить из семьи Пророка. Но это право Али оспорили потомки рода Омейи и, прежде всего, Муавийя ибн Абу Суфьян, считавший, что после Усмана именно он должен стать халифом. В Египте Али был поддержан Мухаммедом ибн Абу Бекром; Басра выдвинула кандидатом Тальху; а Куфа, во главе с Маликом ал-Аштаром, выступила на стороне аз-Зубайра. При таком раскладе от Медины потребовали провести выборы халифа. Али выразил готовность стать халифом при условии, если его признают Тальха и аз-Зубайр. Те согласились, хотя позже заявили, что сделали это под давлением сторонников Али.
Через восемь дней после смерти халифа Усмана, Али ибн Абу Талиб в результате проведенных выборов был провозглашен халифом. Ему не присягнул Саад ибн Абу Ваккас (ум. в 677 году), сподвижник Мухаммеда, победитель персов, мужественный и прямой человек. Впрочем, позже он и Муавийю не признал в качестве халифа.
Свою деятельность в качестве главы государства Али начал с того, что сместил ставленников Усмана с главных постов в Халифате. Этим он нажил себе множетво сильных и могущественных врагов. Вместо Ибн Амира наместником в Басре халиф назначил Усмана ибн Хунейфа, вместо Абу Мусы в Куфе - Аммара ибн Шихаба, вместо Ибн Абу Сарха в Египте - Кайса ибн Саада, вместо Ялы ибн Мунья в Южной Аравии - Убайдаллаха ибн Аббаса. Амр ибн ал-Ас, ожидая наместничества в Египте и не получив его, тут же перешел на сторону Муавиии. После того как войско и придворные присягнули Али, Муавийя начал плести интриги. Призыв к мести за смерть Усмана заставил всех Омейядов сплотиться вокруг него, а то, что они занимали в Халифате не последние должности, ослабило положение сторонников Али. В то же время халиф не позволял себе отвечать противникам в духе Муавиии, и все его действия оставались в рамках закона. В конце концов, это оказалось исторически правильнее, как и все дальновидные, взвешенные решения халифа.
