Еще в 1695 году Петр I поручил Шереметеву формирование 120-тысячной армии для предполагавшейся войны с Турцией, во время которой предполагался поход на Азов. Шереметев пытался предупредить царя о рискованности этого предприятия, но ослушаться не мог и повел войско в поход. Под его началом сражения шли настолько успешно, что армия взяла хорошо укрепленный Кизы-Кермень на Днепре, и эта победа так испугала турок, что они без боя сдали еще три хорошо укрепленных города. И все же, не желая рисковать, Шереметев не пошел на Крым, а повернул на Украину.
С января 1700 года боярин Шереметев уже именовался «генералом» и начальником «дворянской нестройной конницы», но все же широко известен как непревзойденный полководец Борис Шереметев стал в годы Северной войны. Несмотря на жестокое поражение, которое его войска потерпели под Нарвой, Петр по-прежнему не сомневался в военных талантах своего генерала, и две недели спустя после Нарвского сражения поручил ему идти в шведские земли и нанести сколько возможно вреда противнику.
И Петр оказался прав. В декабре 1701 года в сражении у села Эрестфер шведам было нанесено сокрушительное поражение, и за эту победу Шереметев был награжден орденом Св. Андрея Первозванного и произведен в фельдмаршалы. После этого, продолжая действовать против шведских войск, он вновь одержал победу под Гуммельсгофом, а затем захватил крепости Мензу и Мариенбург. В сентябре Шереметев с войском вернулся в Псков, ведя с собой свыше тысячи пленных солдат и офицеров, причем среди пленных оказалась и Марта Скавронская – будущая императрица Екатерина I.
Военные действия продолжились. Одна за другой были взяты крепости – Нотебург, Ниеншанц, Копорье, Ямбург, Везенбург. Русские войска праздновали одну победу за другой, и к 1703 году войска фельдмаршала Шереметева завоевали землю древней Ингрии с выходом к Балтийскому морю, и наконец, была взята Нарва.
Петр I был так доволен своим военачальником, что пожаловал ему графский титул, который он мог передать своему старшему сыну.
Единственным поражением за годы Северной войны стало сражение у Мур-Мызы, но и оно вскоре было забыто на фоне остальных побед. Зимой 1709 года Петр приказал Шереметеву сформировать для действий в тылу противника отряд, который должен был одновременно быть и достаточно подвижным, и сильным, чтобы его молниеносные действия наносили урон войску шведского короля. Петр ждал от своего фельдмаршала громких побед. Шереметев, однако, не оправдал его надежд. Военные действия продолжались, и впереди была Полтавская битва, ставшая переломным моментом в ходе Северной войны. Петр I, взяв на себя общее руководство военными действиями, главнокомандующим назначил Шереметева. Сражение было молниеносным и окончилось полной победой русских войск.
