Через полгода Изяслав Ярославич, Получив войско от польского короля Болеслава Храброго, пошел на Киев. Всеслава, как великого киевского князя, не поддержало киевское боярство, не подчинились и другие князья. Всеслав с дружиной и народным ополчением вышел навстречу Изяславу. До битвы не дошло – Всеслав, очевидно, не захотел крови, а, возможно, понимал, что ополчению не победить кованую рать. Ночью он ушел в Полоцк. Изяслав без боя вошел в Киев. С. В. Тарасов писал:
«Будучи одновременно и киевским и полоцким князем, Всеслав не мог избежать того, против чего выступал всю жизнь – центристской политики. Волей судьбы он оказался перед весьма сложным выбором: как одновременно быть князем двух княжеств, фактичным господином больше, чем половины восточнославянской земли, и вместе с тем не конфликтовать с другими князьями. Он, который защищал независимость Новгорода и Смоленска, Полоцка и Тмутаракани, вдруг стал единоличным хозяином огромных земель. Всеслав имел косвенные права на Киев, оно они были настолько относительные, что он сам никогда не стремился их осуществить. Чародея поддержали киевляне, но этот эмоциональный порыв в значительной степени был подогрет самими полочанами. Где гарантия, что подобное не повторится, и он снова не окажется в порубе?
На протяжении всей истории мы наблюдали у полоцких князей обостренное чувство родины, отчизны. Не могло оно обойти и Всеслава».
Всеслав покинул и Полоцк под давлением войск Изяслава – у него не хватило воинов отбить объединенное киевско-польское войско, а резни он не хотел. В Полоцке сел княжить Мстислав, затем Святополк, брат Мстислава. Они княжили недолго, каждый по году.
Всеслав набрал воинов в финском племени водь, – некоторые историки говорят, что из него происходила мать князя. В октябре 1069 года войско Всеслава встало у стен Новгорода, а не Полоцка – возможно водские воины поставили условием похода на столицу Полоцкого княжества грабеж Новгорода. 26 октября в большом бою новгородцы разбили Всеслава – «воджанам была великая сеча и погибло их без числа». Всеслав Вещий и сам попал в плен, но был сразу же отпущен. Княживший в Новгороде сын Святослава Черниговского Глеб никогда бы этого не сделал. Очевидно, Всеслав пользовался таким авторитетом и уважением народа, что именно новгородцы отпустили его. В. Чаропка писал об этом:
«Еще в 1015 году новгородский князь Ярослав Владимирович отказался платить Киеву дань, однако Киев в этом конфликте сильнее. Мечта же быть независимым и самостоятельным не оставляла Новгород. Только могла бы она осуществиться, если бы Киев захватил Полоцк и реально угрожал наложить руку и на ту призрачную, но все же самостоятельность Новгородской республики. Новгородцам был нужен союз с Полоцком для борьбы с Киевом. Тут интересы новгородского и полоцкого боярства совпали. Поэтому и отпустили новгородцы своего пленного».
