Хазрадиты находились под сильным влиянием князя Абдаллаха ибн Оббы. Он был хорош собой, ловок и красноречив. К Мухаммеду Абдаллах ибн Обба относился дружелюбно и не раз присутствовал на собраниях мусульман вместе с близкими ему людьми. Вначале Мухаммеду понравились эти знаки внимания, но потом он понял, что Абдаллах с друзьями завидуют ему и втайне ненавидят его, за что он и заклеймил их словом «лицемеры». Абдаллах ибн Обба долго продолжал быть его политическим соперником в Медине.
Получив теперь возможность открыто служить своей вере и проповедовать свое учение, Мухаммед надумал построить мечеть. Место для нее выбрано было вблизи кладбища. Говорят, что Мухаммед руководился в своем выборе предзнаменованием: как раз против этого места его верблюд стал на колени, когда он входил в город. Простота формы постройки вполне соответствовала простоте религии, которую он проповедовал, и ограниченности средств, которыми располагали его последователи. Стены были из глины, стволы пальм послужили столбами для крыши, сделанной из пальмовых ветвей. Здание занимало площадь около семидесяти квадратных метров и имело три двери: одну южную, где впоследствии была помещена кибла, другую, названную вратами Гавриила, и третью, названную вратами милосердия. Часть здания предназначалась для ночлега верующих, не имевших пристанища.
Мухаммед лично участвовал в постройке мечети. При всей своей проницательности он и не подозревал, что сооружает самому себе гробницу и памятник, что останкам его суждено лежать здесь. Позднее это здание неоднократно увеличивали и улучшали, но оно все еще сохраняет название Масджид ан-Наби (мечеть пророка), потому что было основано самим Мухаммедом. Некоторое время он раздумывал, каким образом созывать верующих на молитву: трубным ли звуком, как у иудеев, зажиганием ли огней на возвышенных местах или игрой на тамбурине. Разрешил это затруднение Абдаллах, сын Зайда, подав ему мысль сзывать на богослужение громкими криками и объявив, что это было открыто ему в видении. Мухаммед тотчас же согласился, и таким образом было положено начало призывам, которые с высоких минаретов и теперь раздаются по всему мусульманскому миру.
Все в этой скромной мечети совершалось вначале крайне просто. Для освещения ее ночью служили пальмовые лучины, и прошло немало времени, прежде чем вошли в употребление лампады и масло. Пророк стоял на голой земле и проповедовал, прислонясь спиной к одному из столбов. Позднее он воздвиг кафедру, на которую всходил по трем ступеням, — так что стоял он выше присутствующих. Предание утверждает, что при первом его вступлении на кафедру покинутый им ствол пальмы издал стон; в утешение Мухаммед предоставил ему на выбор: быть перенесенным в сад и там снова зацвести или получить место в раю и в будущей жизни снабжать плодами своими истинно верующих. Финиковая пальма мудро выбрала последнее и была зарыта под кафедрой в ожидании блаженного воскресения.
