Князь Михаил Борисович, опасаясь возраставшей силы Москвы, женился на внучке литовского князя Казимира и заключил с ним в 1484 году союзный договор. Иоанн успел подавить восстание Новгорода.
1481 году умер Андрей Меньшой, младший брат Иоанна; задолжав ему 30 000 рублей при жизни, он по завещанию оставил ему свой удел, в котором другие братья не получили участия. Десять лет спустя Иоанн арестовал в Москве Андрея Большого, за несколько месяцев до того не выславшего своей рати на татар по его приказу, и посадил его в тесное заключение, в котором тот и умер, в 1494 году; весь удел его был взят великим князем на себя.
Уже в первые десятилетия правления Иоанна многие служилые князья литовские перешли к нему, сохраняя свои вотчины; наиболее видными из них были князья Иван Михайлович Воротынский и Иван Васильевич Бельский. По смерти Казимира, когда Польша избрала королем Яна-Альбрехта, а литовский стол занял Александр, Иоанн начал открытую войну с последним. Сделанная литовским великим князем попытка прекратить борьбу путем родственного союза с московской династией, не привела к ожидавшемуся от нее результату: Иоанн не ранее согласился на брак своей дочери Елены с Александром, как заключив мир, по которому Александр признал за ним титул государя всея Руси и передал ему все приобретенные Москвой во время войны земли. Позже самый родственный союз сделался для Иоанна только лишним предлогом для вмешательства во внутренние дела Литвы и требования прекратить притеснение православных. Сам Иоанн устами отправленных в Крым послов так объяснял свою политику по отношению к Литве: «великому князю нашему с литовским прочного миру нет; литовский хочет у великого князя тех городов и земель, какие у него взяты, а князь великий хочет у него своей отчины, всей земли Русской». Эти обоюдные притязания уже в 1499 году вызвали новую войну между Александром и Иоанном.
Заключенный в 1503 году мир закрепил за Москвой ее новые приобретения, в том числе Чернигов, Стародуб, Новгород-Северский, Путивль, Рыльск и 14 других городов. При Иоанне Московская Русь, усиленная и сплоченная, окончательно сбросила с себя татарское ярмо. Хан Золотой Орды Ахмат еще в 1472 году предпринял, по внушениям польского короля Казимира, поход на Москву, но взял только Алексин и не мог перейти Оки, за которой собралось сильное войско Иоанна. В 1476 году Иоанн отказался платить Ахмату дань, и в 1480 году последний вновь напал на Русь, но у реки Угры был остановлен войском великого князя. Сам Иоанн и теперь еще долго колебался, и лишь настойчивые требования духовенства, особенно ростовского епископа Вассиана, побудили его лично отправиться к войску и прервать переговоры с Ахматом.
