Пропустив период правления Всеслава в Киеве, автор Повести временных лет сразу переходит к рассказу о возвращении прежнего князя, Изяслава. Возвращался он не один, а с польским войском короля Болеслава. Киевляне приготовились к бою, расположившись лагерем под Белгородом. Видя превосходящие силы противника, Всеслав проявил малодушие – оставил киевское войско и под покровом ночи сбежал в Полоцк.
В 1916 году великий русский писатель и поэт Иван Бунин напишет стихотворение, в котором изобразит князя Всеслава тоскующим по киевскому престолу:
Князь Всеслав в железы был закован,
В яму брошен братскою рукой:
Князю был жестокий уготован
Жребий, по жестокости людской.
Русь, его призвав к великой чести,
В Киев из темницы извела.
Да не в час он сел на княжьем месте:
Лишь копьём дотронулся Стола.
Что ж теперь, дорогами глухими,
Воровскими в Полоцк убежав,
Что теперь, вдали от мира, в схиме,
Вспоминает тёмный князь Всеслав?
Только звон твой утренний, София,
Только голос Киева! – Долга
Ночь зимою в Полоцке… Другие
Избы в нём, и церкви, и снега…
Далеко до света, – чуть сереют
Мёрзлые окошечки… Но вот
Слышит князь: опять зовут и млеют
Звоны как бы ангельских высот!
В Полоцке звонят, а он иное
Слышит в тонкой грёзе… Что года
Горестей, изгнанья! Неземное
Сердцем он запомнил навсегда.
Вернуться в Киев Всеславу не довелось. Более того, великий киевский князь Изяслав, движимый уязвлённым самолюбием, организовал поход на Полоцк и изгнал оттуда Всеслава, посадив на полоцкий стол своего сына Мстислава, а когда тот умер, на его место сел другой сын великого князя – Святополк. Всеслав же после этого оказался далеко на севере, у финно-угорского племени водь, и оттуда пытался овладеть Новгородом, однако потерпел поражение и попал к новгородцам в плен. Оказавшись вскоре на свободе, он вновь собрал войско и в 1071 году изгнал из Полоцка Святополка.
Спустя пару лет Изяслав и Всеслав помирились и проявили обоюдное стремление к союзу. В 1073 году Всеслав сосватал своего сына Глеба за дочь Ярополка Изяславича – Анастасию, внучку киевского князя. Этим актом был заключён политический союз.
В конце 70-х годов XI века в борьбу с полоцким князем вступил Владимир Мономах, являвшийся в то время сначала смоленским, а затем черниговским князем. Он совершил несколько походов на Полотчину, последний из которых состоялся в 1084–1085 годах. С 1085 года и до смерти Всеслава в 1101 году Полоцкое княжество существовало без войн, а Полоцк получил возможность дальнейшего развития в качестве экономического и культурного центра Руси.
