Венгры, болгары, а в дальнейшем и византийцы дали энергичный отпор нежданным «освободителям гроба господня». Они беспощадно убивали крестоносцев, отбирали захваченную ими добычу, преследовали отставших в пути. В этих сражениях крестоносцы несли большие потери. По свидетельству Альберта Аахенского, отряд Петра Пустынника, которому близ города Ниша пришлось иметь дело с византийскими войсками, покинул город, уменьшившись на одну четверть.
Пройдя Венгрию и Болгарию, миновав Филиппополь и Адрианополь, крестоносцы направились к греческой столице.
Со второй половины июля 1096 г. значительно поредевшие в дороге — прошло три месяца после начала похода — толпы бедняков стали прибывать в Константинополь. Сперва подошел отряд Вальтера Голяка, затем, в начале августа, с ним соединились крестьяне Петра Пустынника, принявшего общее командование. Многим крестьянам, рассчитывавшим получить свободу в неведомых землях сарацин, не удалось достигнуть даже Константинополя. По подсчетам одного немецкого исследователя, крестоносцы потеряли в Европе около 30 тыс. человек.
Деморализованные грабежами крестоносцы и в столице Византии повели себя так же разнузданно, как и раньше. Они разрушали и жгли дворцы в предместьях Константинополя, растаскивали свинец, которым были покрыты крыши церквей.
Несмотря на это, византийское правительство пыталось было удержать бедняков с Запада в столице, пока подоспеют феодальные войска. Но эти попытки не увенчались успехом. Крестьяне рвались к «земле обетованной», и Алексей I счел за лучшее поскорее избавиться от непрошеных союзников: менее чем через неделю после прибытия Петра Пустынника в Константинополь император начал переправлять крестоносцев на другой берег Босфора. Оборванные толпы воинов христовых были собраны и размещены лагерем на южном берегу Никомидийского залива, примерно в 35 км к северо-западу от Никеи. Отсюда отдельные отряды стали на свой страх и риск совершать более или менее отдаленные вылазки, вступали в бои с сельджуками.
Петр Пустынник, убедившись, что всякие попытки остановить рвавшихся вперед людей безнадежны, вернулся в Константинополь. Вскоре в главном лагере разнесся слух, будто нормандцы взяли Никею. Весть об этом взвинтила остальных крестоносцев. Стремясь возможно скорее достигнуть мнимой цели похода — отомстить сельджукам за надругательства над верой, они двинулись к Никее. Не дойдя до нее, крестоносцы были встречены заблаговременно подготовившимся к схватке сельджукским войском, которое 21 октября 1096 г. перебило их 25-тысячную армию. Около 3 тыс. человек сумели избежать истребительного преследования сельджуков, спасшись бегством в Константинополь. Одни постарались отсюда добраться домой, другие стали ждать подхода главных сил крестоносцев.
