Однако привлечение в войско литовских дружин свидетельствует не об усилении Полоцкого княжества, а об обратном, ибо как раз отсутствие собственных сил заставило Полоцк прибегать к разорительной помощи наемников. Не в пользу возросшей мощи Полоцка свидетельствуют и его войны с вассалами, которые отказываются признать верховную власть сюзерена.
Но если во второй половине XII века полоцкие, витебские и минские князья иной раз использовали литовские дружины во время феодальных усобиц (например, в 1162, 1180, 1198 годах), то в начале XIII века положение в корне меняется. Еще до образования Литовского государства местные племенные князья делали частые набеги на соседние русские земли. В то время их целью было не присоединение чужой территории, а грабеж, захват пленных, скота. О борьбе полоцких князей с литовцами свидетельствует автор «Слова о полку Игореве»: «Изяслав, сын Васильков, позвенел своими острыми мечами о шлемы литовские». М. Стрыйковский сообщает, что в 1205 и 1207 годах, «видя разлад и несогласие внутреннее между князьями русскими, охваченные жаждой добычи», литовцы организовали походы на русские земли. Об этом свидетельствует и «Хроника» Генриха Латвийского. Так, полоцкий князь Владимир в 1212 году вынужден был заключить невыгодное для себя соглашение с орденом, чтобы, «возобновив мир, тем легче противостоять литовцам». По сообщениям Я. Длугоша, в 1216 году литовские дружины, которые грабили окрестности Полоцка, были разгромлены и выгнаны смоленским князем Мстиславом Давыдовичем.
Иногда литовцы, вторгаясь в русские земли, получали достойный отпор, но в Полоцкой земле они почти не встречали сопротивления. Обессиленная внутренними усобицами, Полоцкая земля к началу XIII века пришла в полный политический и военный упадок. Это отмечается и русским историком В. Е. Данилевичем: «Между тем полочане, сознавая свое бессилие, впадают в совершенную апатию и почти не делают попыток защищаться, а потому Литва, разграбив Полоцкую землю, обыкновенно отправлялась в соседние с нею русские земли. Такой порядок вещей имел последствием то, что князья соседних областей должны были освобождать от литовцев не только свои земли, но и Полоцкую землю. Под 1216 годом у польских летописцев есть известие, что Литва напала на Полоцкую землю и, не встречая сопротивления, достигла уже Полоцка, но в это время явился Мстислав Давыдович со смоленским войском и нанес ей под самым Полоцком страшное поражение. В 1223 году Литва воевала Торопецкую волость; за нею погнался Ярослав с новгородцами и преследовал ее до Усвята, однако догнать не мог. В 1225 году Литва опять опустошила Полоцкую землю, а затем отправилась воевать Смоленскую и Новогородскую волости. Узнав об этом, Ярослав со своим полком, Владимир с новгородцами и новоторжцами и Давыд с торопчанами пустились за нею в погоню, нагнали ее около Усвята и разбили наголову, причем отняли не только всех взятых в плен русских, но захватили 2000 литовцев и перебили их тут же».
