Войско И. Золотаренко без особых трудов преодолело городские укрепления и подошло к замку. Расставив вокруг него и по соседним холмам пушки, казаки начали осаду, «промышляявсеми промыслы ратными». За все время от начала осады до 11 июля казаки четыре раза ходили на штурм, но их приступы были отбиты. Осажденные также предпринимали ответные вылазки. Во время одной из них был убит черниговский полковник Степан Подобайло, однажды уже бывший в Гомеле в 1649 г. Осада затянулась, и казаки решили принудить замок сдаться «голодом и безводьем».
За ходом осады Гомеля следила вся Восточная Белоруссия, обе воюющие стороны. Понимая, что гомельчане своим упорством «всей Литве и войскам ее сердца и смелости додают», И. Золотаренко обратился к осажденным от имени царя и Богдана Хмельницкого с предложением сдаться, но те «гордо и сурово» отказались. Тогда казаки втащили несколько небольших пушек на Спасскую церковь, стоявшую за Гомеюком недалеко от замка. Стреляяраскаленными ядрами, они вызвали в замке пожар. Вылазка с целью ликвидации этой артиллерийской позиции окончилась для осажденных неудачей. Вскоре казаки обнаружили и взорвали потайной ход к воде, что в конечном итоге решило участь замка. Как писалось в донесении царю 13 августа 1654 г., после более чем полуторамесячной осады «гомляне, полковники, ротмистры и со всеми своими людьми покорилися».
Война 1654–1667 гг. сильно отразилась на состоянии Гомеля. Однако замок, судя по сообщениям 1666 г., все еще сохранял свою мощь. Известно, что владелец Гомельского староства князь Михаил Чарторыйский в 1737 г. построил здесь новый крепкий дубовый замок с башнями и стенами, в которых имелись многочисленные бойницы, углубил рвы и поправил подъемный мост.
Один из немногочисленных архивных документов по Гомелю 1765 г. рисует перед нами жизнь небольшого городка, в котором насчитывалось тогда всего 206 домов. Мы не находим здесь описаний укреплений, но в топографии города улавливается их присутствие. Это чувствуется, когда читаешь о жителях, живших за «брамою Водной», на улице Речицкой «под валом», или на улице «у рове».
Когда в 1772 г. Гомель, как и вся Восточная Белоруссия, был включен в состав Российской империи, его пожаловали «для увеселения» графу Румянцеву. Граф застал довольно крепкий замок, обнесенный палисадом, существовавшим еще в 1780 г. Затем башни и стены деревянного замка были разобраны, валы срыты. В 1785 г. по плану Б. Растрелли здесь было начато строительство существующего и ныне каменного дворца.
