Хабаров сделал городок своей крепостью, из которой совершал набеги на соседние селения. Весной 1651 года, построив дощаники, казаки поплыли вниз по Амуру. На пути возник городок ещё одного даурского князя. Он отказался платить ясак, тогда казаки взяли город штурмом. Та же судьба постигла и следующий даурский населённый пункт, в котором княжил Банбулат, тоже отказавшийся платить ясак. Потом был разгромлен двухтысячный отряд маньчжуров, вышедший навстречу русским.
Хабаров спустился уже ниже устья Зеи, когда казаки взбунтовались, устав от путешествия с боями. 136 бунтовщиков во главе со Степаном Поляковым, захватив суда, ушли вперёд, в низовья Амура. Хабаров их догнал, разгромил острог, в котором те собрались зимовать, и жестоко с ними расправился.
Здесь была уже земля гиляков (нивхов). Хабаров провёл тут зиму, а весной вернулся к устью Зеи. Отсюда отправил «отписку» якутскому воеводе: «...а вниз по славной, по великой реке Амуре живут даурские люди пахотные и скотные, и в той же великой реке Амуре рыба калушка (калуга), и всякой рыбы много... А в градах и улеях... пашни есть, а лесы по той великой реке Амуре тёмные, большие, соболя и всякого зверя много... А в земле злато и серебро виднеется».
Эти послания дошли до Москвы, произвели там сильнейшее впечатление. Решено было основать особое Даурское воеводство; для его устройства отправился из Сибирского приказа к Хабарову царский уполномоченный Дмитрий Зиновьев, московский дворянин. Прибыв в августе 1653 года с отрядом 150 казаков, он отстранил Хабарова от власти, арестовал и доставил через год в Москву.
В столичном Сибирском приказе рассмотрели челобитную Ерофея Павловича, разобрались в деле и присудили вернуть ему всё, что отобрал Зиновьев. Сверх того, царь Алексей Михайлович пожаловал Хабарова в «дети боярские» и предоставил ему несколько деревень в Сибири — от Усть-Кута до Чекуйского волока. Только на Амур, в даурские земли запрещено было ему возвращаться.
Хабаров отправился сначала по торговым делам в Великий Устюг, а потом прибыл на Лену. Там занялся хлебопашеством и промыслами, рассчитался с долгами. Осенью 1667 года съездил в Тобольск, где показал свой чертёж Амура картографу Семёну Ремезову, который использовал его при составлении «Чертежа всей Сибири», а потом и «Атласа».
Хабаров просил разрешения вернуться на Амур, но ему отказали. Он умер в Усть-Киренге в 1770 году.
Ерофей Павлович Хабаров — один из наиболее известных русских землепроходцев. Хотя он нередко выступал и как завоеватель, но в поиске новых земель и их освоении ему не было равных.
