Ягайло же поддерживали братья Саиргайло (в православии Иван) и Свидригайло (Лев), а также его дядя по отцу Кейстут с сыном Витовтом.
Коалиция Андрея Ольгердовича потерпела поражение, и в 1377 г. он с дружиной уходит в хорошо знакомый Псков.
В следующем году Андрей Ольгердович опять же с дружиной поступает на службу к московскому князю Дмитрию Ивановичу.
Московский князь решил воспользоваться смутой в Литве, и в 1379 г. Андрей Ольгердович вместе с серпуховским князем Владимиром Андреевичем и московским воеводой Дмитрием Михайловичем Волынским двинулись на Литву, взяли города Трубчевск и Стародуб, разграбили многие городки и села и возвратились с большой добычей.
Сын Ольгерда Дмитрий, князь трубчевский, не сопротивлялся московским полкам. Он покинул город вместе с семьей и боярами, поехал в Москву и стал служить великому князю московскому, как выразился летописец, «урядился в ряд и крепость взял». Дмитрий Иванович принял его хорошо и дал в удел город Переяславль со всеми пошлинами.
Усобица между Ягайло и Андреем Ольгердовичами почти не сказалась на жизни Литовского княжества. Но через некоторое время началась куда более сильная усобица между Ягайло и Витовтом.
В Полоцке после изгнания Андрея Ольгердовича княжил сын Кейстута Андрей по прозвищу Горбатый. Ягайлу и его фавориту Войдылло хотелось отнять эту волость у Кейстутовича и отдать ее родному брату Ягайло Скиригайлу (1352—1394).
Скиригайло (Скиргайло) был сыном Марии Александровны Тверской. Но, как и отец, он наряду с православными обрядами не брезговал и языческими. В литовской глубинке это лишь прибавляло ему популярности. Но в Полоцке выполнение языческих обрядов кончилось для Скиригайло печально. Разъяренная толпа горожан привязала князя задом наперед к старой кляче и под свист и улюлюканье погнала ее к городским воротам. В Придвинье еще и сейчас жива поговорка: «Поехал, как Скиригайло с Полоцка». Наука пошла Скиригайло на пользу: вернувшись через несколько лет в Полоцк как великокняжеский наместник, он крестился, принял православное имя Иван и вел себя как примерный христианин.
Великий князь литовский Ягайло выслал в Псков против Андрея Кейстутовича войско, к литовцам присоединились и немцы. Но полочане объявили, что скорее сдадутся немцам, чем Скиригайло, и отразили все приступы литовцев.
Князь Кейстут, узнав о полоцких событиях, пожаловался своему сыну Витовту на Ягайло: «За Войдылла отдал мою племянницу, уговорился с немцами на мое лихо, а вот теперь с кем мы воевали? С немцами? А он с ними заодно добывает Полоцка». Витовт ответил, что не верит он в такое коварство Ягайло, и выехал в Дрогичин, а оттуда — в Гродно. Но старик Кейстут не разделял сомнений сына и решил для собственной безопасности опередить Ягайло. Он неожиданно явился с большой ратью под стенами Вильно, занял город, взял в плен Ягайло со всем семейством, захватил все грамоты, в том числе и последний договор Ягайло с немцами. Ягайло был вынужден обещать никогда не воевать против Кейстута, и тогда его отпустили в Витебск.
