Натиску такой сильной партии стал уступать Николай II, его поддержка министра финансов начала ослабевать. Развязка наступила в августе 1903 года. Витте был снят с должности министра и переведен на почетный, но почти декоративный пост главы Комитета министров. Однако это не было окончательным крушением служебной карьеры. В последующие несколько лет Сергей Юльевич вновь сумел заявить о себе и вознестись на вершины успеха и известности.
После Цусимы поиски путей прекращения войны с Японией, необходимость чего окончательно выяснилась на военном совещании у царя 24 мая 1905 г., снова вывели полуопального сановника на передний план. Вечером этого дня на «совещании при Совете министров» Витте, задав отрицательный тон обсуждению возможности созыва Земского собора для решения вопроса о мире, заявил, что «дипломатическая партия проиграна» и неизвестно, какой мирный договор удастся заключить министру иностранных дел. А через месяц вести переговоры о мире было поручено ему самому. Это решение, надо думать, нелегко далось царю, учитывая ту позицию в вопросе об ответственности за войну, которую Витте занимал и отстаивал. К тому же справа царю внушали, что Витте мечтает стать президентом Российской республики.
Недюжинная одаренность, государственная опытность, широта взглядов и умение ориентироваться в чуждых российскому бюрократу американских политических нравах помогли Витте в переговорах о мире с Японией. Еще по дороге в США он расположил к себе журналистов. Приехав, продолжал активно действовать в том же направлении, устанавливая отношения с различными американскими кругами, еврейской общественностью, банковским миром, что способствовало успешному проведению переговоров.
В августе 1905 года ему удается заключить в г. Портсмут (США) мир с Японией, который лишь незначительно ущемлял русские интересы. За эту заслугу перед Россией ему высочайше был пожалован титул графа. Осенью 1905 года Витте становится «крестным отцом» русских политических свобод — Манифеста 17 октября. С середины октября 1905 до конца апреля 1906 года он возглавляет объединенный Совет министров. За несколько дней до открытия сессии Первой Государственной думы (27 апреля 1906 года) С.Ю. Витте ушел с поста главы кабинета и активной политической роли уже больше не играл. Опала невероятно уязвила честолюбие графа, и он решил рассчитаться со своими многочисленными врагами и недоброжелателями. Орудием своей мести он избрал ныне широко известные «Воспоминания», наполненные самовосхвалением и клеветническими измышлениями по адресу многих лиц, в том числе и последнего монарха.
