В начале 1702 г. новая стычка со Шлиппенбахом опять принесла успех русским, у которых было около 30 тысяч войска, шведов же насчитывалось всего около 13 тысяч. Шведский корпус неожиданно настигла легкая русская конница, а подошедшая позднее пехота довершила разгром. В том же году были взяты крепости Мариснбург и Нотебург, а в следующем — Ниеншанц, Ямбург и др. Лифляндия и Ингрия полностью оказались в руках русских. В Эстляндии был взят штурмом Везенберг.
По военное счастье фельдмаршала не было постоянным. При осаде Дернта царь вынужден был отменить некоторые его распоряжения, касающиеся осады, и город удержать не удалось. В июле 1705 г. из-за несогласованности действий русские потерпели поражение в Курляндии у деревни Мур-Мыза от генерала Левенгаупта.
Летом 1705 г. вспыхнуло восстание на юге России, в Астрахани, во главе которого стали стрельцы, высланные в большинстве сюда после стрелецких бунтов в Москве и других городах. Для подавления бунта царем был выбран Шереметев. С одной стороны, популярность фельдмаршала, с другой — его осторожность и рассудительность делали его наиболее подходящим человеком для выполнения такой задачи. В марте 1706 г. царские войска подошли к городу. После бомбардировок Кремля мятежники не выдержали и быстро сдались. Уже к июлю последствия бунта были окончательно ликвидированы. «За который ваш труд, — писал царь, — Господь Бог вам заплатит и мы не оставим». Шереметев первым в России был пожалован графским российским титулом, получив еще и 2400 дворов, а его сын Михаил был из стольников произведен в полковники.
В 1707–1708 гг. фельдмаршал провел большую работу по укреплению армии, особенно на западном театре военных действий, в Польше и Литве, о чем свидетельствует его обширная деловая переписка с царем, вельможами и высшим генералитетом. Весь 1708-й и весна 1709 г. прошли в подготовке русских и шведов к генеральному сражению, но шведские войска, оторванные от баз снабжения и растрачивавшие свои силы на второстепенных участках военных действий и при штурмах небольших крепостей, постепенно теряли солдат, артиллерию и запасы. Русская же армия, день ото дня пополнявшаяся резервами, получавшая опыт в боях и стычках с противником, крепла и повышала боевое мастерство.
В конце мая 1709 г. Шереметев прибыл под Полтаву и здесь сразу же вступил в обязанности главнокомандующего. Между ним и шведским фельдмаршалом Ренншильдом было заключено соглашение о начале генеральной баталии 29 июня, по слух о подходе к русской армии подкреплений заставил Карла XII нарушить договор и перенести начало сражения на утро 27 июня. Во время Полтавского сражения Шереметев считался главнокомандующим лишь формально, руководил же всеми действиями сам Петр. Объезжая перед боем войска, царь обратился к Шереметеву: «Господин фельдмаршал! Поручаю вам мою армию и надеюсь, что в начальствовании оною вы поступите согласно предписанию, вам данному, а в случае непредвиденном, как искусный полководец. Моя же должность — надзирать за всем вашим начальствованием и быть готовым на сикурс во всех местах, где требовать будет опасность и нужда».
