С другой стороны, воспрянули духом шииты, видя столь решительную перемену в уме и душе халифа. Они снова заговорили о законных правах Алидов на халифат. Умар II не препятствовал этому брожению умов, пока действия шиитов не переступали границ дозволенного.
Умар II отменил проклятие халифа Али. В свое время ал-Хаджжадж потребовал от мусульман во время пятничной молитвы повторять публичное проклятие имени Али, провозглашаемое с минбаров, и казнил всех, кто отказывался делать это.
Также и потомки Аббаса ибн Абд Мутталиба, дяди Мухаммеда, стали вести работу по возвращению Халифату законного правителя. Сын Аббаса, Абдаллах, выступал на стороне Али в его споре с Муавийей. После третейского суда Абдаллах удалился в Мекку, а затем перебрался в Таиф. Абдаллах ибн Аббас был первым толкователем Корана и пользовался у современников великим почетом. Его сын Али ибн Абдаллах, живя в Дамаске, проявлял чрезвычайную набожность - иногда в молитве он проводил целые дни. Халиф ал-Валид I выслал его из Дамаска, и Али ибн Абдаллах поселился в местечке к югу от Мертвого моря. Именно здесь во времена халифа Сулаймана, как гласит легенда, Абдаллах, сын Мухаммеда ибн ал-Ханафийя, внук халифа Али, торжественно передал права Алидов на халифат Мухаммеду, сыну Али ибн Абдаллаха. Впоследствии сын Мухаммеда, Абдаллах ибн Мухаммед ибн Али ибн Абдаллах ибн Аббас, родившийся в 722 году, претендовал на титул халифа. Аббасиды выдвинули лозунг: "Халиф - из семьи Пророка".
В разгар всех этих событий халиф Умар II внезапно умер. После кратковременного правления Йазида II, халифом стал сын Абд ал-Малика - Хишам, правивший 724-743 годах. Вернулись к прежним способам государственного управления, установленным его отцом и ал-Хаджжаджем.
При халифе Умаре II в 719 году арабы завоевали провинцию Согд. Согдийцы, не принявшие ислам, ушли в верховья реки Заравшан и по ее притокам - в южном и северном направлениях.
Халиф Умар II избегал администрирования. Амил города Химса в Сирии написал халифу: "Разрушилась стена крепости Химса, надо ее поправить. Как распорядится повелитель правоверных?" Умар II написал в ответ: "Устрой крепости Химса стену из справедливости, очисти дороги от грабителей и страха, тогда не будет нужды в глине, кирпиче, камне и извести".
Халиф Умар II в силу своей простоты, очищающей веру, и мудрости был чрезвычайно популярен у берберов. Притягательность такого образа правления так передал ученый-законовед Абу Сайд Хасан ал-Басри (ум. в 728 г .): "Не тот мудрый, кто больше знает по-арабски и владеет большим числом изящных выражений и слов арабского языка. Мудрец тот, кто сведущ в каждом знании. Для этого годится всякий язык, который знаком. Если кто-либо будет знать все предписания шариата и толкований к Корану на языке тюркском, персидском или румийском, а арабского не знает, все равно он является человеком возвышенного знания. Конечно, лучше, если он знает арабский! Всевышний ниспослал Коран на арабском, и Мухаммед - будь над ним благословение и мир Аллаха! - был арабом. А если у государя будет блеск небесного величия, державность и вместе с тем возвышенное знание, то он приобретет счастье двух миров, ибо не совершит ни одного поступка без знания, ни в чем не уступит неведению".
