Вместе с идеологией завоеваний мусульманская умма в последние годы жизни Пророка создала также элиту, способную возглавлять и направлять ее. Внутренний круг состоял из людей, поддерживавших Мухаммада еще в Мекке и присоединившихся к нему в хиджре в Медину в 622 году. Среди них были первые халифы: Абу Бакр (632-634), Умар (634-644) и Усман (644-656). Под управлением этих людей происходили первые завоевания. Арабские источники ярко обрисовывают их характеры. Абу Бакр был серьезный и учтивый старец, Умар был суровым, пуритански неуступчивым вождем, а Усман был богат и щедр, но имел губительную слабость назначать на высокие посты своих родичей. Никто из них лично не возглавлял войска мусульман, и, за исключением Умара, возможно, побывавшего в Иерусалиме, никто из них, видимо, не покидал Медины, политической столицы нового государства. Трудно сказать, насколько они в действительности контролировали далекие армии. Арабские источники неизменно изображают Умара, на чье правление пришлись важнейшие из первых завоеваний, реальным командующим. Мы находим многочисленные сообщения о том, как он писал военачальникам, распоряжаясь их действиями, как принимал в Медине трофеи и знатных пленников и вообще держал руку на пульсе событий. Современные историки склонны в этом сомневаться, подозревая, что эта картина идеализирует раннее исламское государство в целом и Умара в частности. В действительности командование на местах должно было обладать гораздо большей свободой действий, чем предполагают тексты.
Сообщение с удалившимися на огромные расстояния арабскими армиями вряд ли было столь быстрым и постоянным, как изображают источники, но центр явно обладал существенной властью. Халифы назначали и смещали военачальников, и в литературе неизвестны примеры, когда бы командующий отказался сдать власть или нарушил приказ. Это обстоятельство представляет яркий контраст Римской и Сасанидской империям, которые иногда оказывались обезоруженными вследствие мятежа военачальников и наместников против центральной власти. Мусульманские армии мало напоминали непокорную орду кочевников: в кампаниях преобладали сплоченные небольшие отряды под предводительством способных и решительных командиров.
Политические вожди раннего исламского государства почти все были из числа мухаджиров, тех курайшитов из Мекки, которые с самого начала поддержали Мухаммада; ансары Медины были в основном, хотя и не полностью, отстранены от военной власти. Однако маловероятно, чтобы завоевание шло с таким успехом, без опытных военачальников из числа оставшихся в Мекке курайшитов. Начиная с 628 года все больше влиятельных членов племени примыкали к Мухаммаду. За это многие из них вознаграждались важными постами при новом порядке. Когда при Абу Бакре начались завоевания, он избрал многих своих командующих из числа этой группы. Среди них был Халид ибн аль-Валид, которого Абу Бакр послал подавить недовольство в Йамаме в Восточной Аравии, а затем он возглавил мусульманские армии в Ираке и в Сирии. Другим представителем той же группы был Амр ибн аль-Ас, влиятельный курайшит, который согласился перейти к Мухаммаду в 628 году при условии, что его «прошлые грехи (т. е. его прошлое сопротивление Мухаммаду) будут прощены» и его «допустят к участию в делах»
