Дело заключалось в том, что на всем пути следования хабаровцев маньчжурские лазутчики с тревогой следили за их действиями. Хозяйственная деятельность русских казаков и крестьян вызывала у маньчжурских феодалов законное опасение, что на фоне их политики ограбления племен Приамурья русские показывают себя с лучшей стороны и рано или поздно найдут общий язык с трудолюбивыми даурами. На первых порах маньчжуры пытались разжечь вражду между даурами и русскими поселенцами и чужими руками уничтожить отряд Хабарова. Когда же их расчеты не оправдались, они, невзирая на то, что расстояние от границ маньчжурской территории до Амура составляло почти 1000 км, решили выступить против хабаровцев собственной военной силой. Первым увидел неприятеля и поднял тревогу есаул Андрей Иванов. Немногим казакам удалось надеть кольчуги. Противник успел уже пробить брешь в стене, но казаки под предводительством Е. Хабарова и А. Иванова не растерялись. Они подтянули к пролому медную пушку и открыли огонь из пищалей, установленных на стенах. Маньчжуры отступили. Казаки, воспользовавшись замешательством неприятеля, бросились вперед. И хотя их было всего 300 человек, маньчжуры были разбиты. В качестве трофеев казакам достались пушки, многоствольные пищали и знамена.
Хабаров, не желая обострять отношения с маньчжурскими ханами и учитывая малочисленность своего отряда, вынужден был возвратиться вверх по Амуру. В середине мая хабаровцы встретились с отрядом численностью 137 человек во главе с Т. Чечигиным, Д. Поповым и А. Петриловским, посланным из Якутска на помощь Хабарову. Еще до этой встречи из состава отряда Т. Чечигина на поиск хабаровцев была отправлена команда казаков из 27 человек во главе с И. Нагибой. Она прошла мимо отряда Хабарова и вышла из устья Амура в открытое море, а затем реками Ленского бассейна 15 сентября 1653 г. возвратилась в Якутск. Так, отряд И. Нагибы после В. Пояркова еще раз прошел морским путем в центр Восточной Сибири.
Во время похода Хабаров строго следил за дисциплиной своих людей. Попытка части казаков во главе с С. Поляковым отделиться от объединенного отряда была пресечена решительными действиями Хабарова.
В августе 1653 г. на Амур прибыл московский дворянин Д. И. Зиновьев с указом подготовить все необходимое для приема правительственного войска. В устье Зеи он встретился с Хабаровым, для которого эта встреча оказалась недоброй. Недовольные строгостью Хабарова казаки написали на него жалобу, а говоря языком того времени — навет, в котором обвинили его в притеснениях и нарушении государева дела. Зиновьев, использовав эту жалобу, отстранил Хабарова от руководства отрядом и подверг унижениям. Он отобрал у Хабарова все его имущество и под арестом повез в Москву, прихватив с собой и его долговую расписку из Якутска. Таким образом, Е. П. Хабаров превратился в государева должника.
