Несколько позже другая рать новгородская была разбита на Двине князем Василием Шуйским. Новгород просил мира и получил его, под условием уплаты 15500 рублей, уступки части Заволочья и обязательства не вступать в союз с Литвой. После того, однако, началось постепенное стеснение новгородских вольностей. В 1475 году Иоанн посетил Новгород и судил здесь суд по старине, но затем жалобы новгородцев стали приниматься и в Москве, где по ним и творили суд, вызывая обвиняемых за московскими приставами, вопреки привилегиям Новгорода. Новгородцы терпели эти нарушения своих прав, не давая предлога к полному их уничтожению. В 1477 году такой предлог явился, однако, у Иоанна: новгородские послы, Подвойский Назар и вечевой дьяк Захар, представляясь Иоанну, назвали его не «господином», как обыкновенно, а «государем».
Напрасны были ответы новгородского веча, что оно не давало своим посланникам подобного поручения; Иоанн обвинил новгородцев в запирательстве и нанесении ему бесчестия и в октябре выступил в поход на Новгород. Не встречая сопротивления и отвергая все просьбы о мире и помиловании, он дошел до Новгорода и осадил его. Лишь здесь новгородские послы узнали условия, на которых великий князь соглашался помиловать свою отчину: они заключались в полном уничтожении вечевого управления. Окруженный со всех сторон, Новгород должен был согласиться на эти условия, равно как на отдачу великому князю всех Новоторжских волостей, половины владычних и половины монастырских, успев только выторговать небольшие уступки в интересах бедных монастырей. 15 января 1478 года последовала присяга новгородцев Иоанну на новых условиях, после чего он въехал в город и, захватив вождей враждебной ему партии, отослал их в московские тюрьмы.
Новгород не сразу примирился с своей участью: в следующем же году в нем произошло восстание, поддержанное внушениями Казимира и братьев Иоанна – Андрея Большого и Бориса. Иоанн принудил Новгород покориться, казнил многих виновников восстания, заточил владыку Феофила, выселил из города в московские области более 1000 семей купеческих и детей боярских, переселив на их место новых жителей из Москвы.
Особенно широко применял Иоанн к Новгороду систему выселений: за один 1488 год было выведено в Москву более 7000 житьих людей. Путем таких мер окончательно сломлено было свободолюбивое население Новгорода. Вслед за падением новгородской самостоятельности пала и Вятка, в 1489 году принужденная воеводами Иоанна к полной покорности. Из вечевых городов только Псков сохранял еще старое устройство, достигая этого полной покорностью воле Иоанна, изменявшего, впрочем, исподволь и псковские порядки: так, наместников, избираемых вече, заменили здесь назначаемые исключительно великим князем; отменены были постановления веча о смердах, и псковичи вынуждены были согласиться с этим. Одно за другим падали перед Иоанном и удельные княжества. В 1463 году присоединен был Ярославль, путем уступки своих прав тамошними князьями; в 1474 году ростовские князья продали Иоанну оставшуюся еще за ними половину города. Потом очередь дошла до Твери.
