Член КПСС с 1959 года до ее запрета в 1991 году. В 1986—1989 годах был кандидатом в члены ЦК КПСС, с 1989 года — членом ЦК, в 1989—1990 годах — кандидатом в члены Политбюро ЦК КПСС. В феврале 1988 года избирался членом Верховного Совета (ВС) СССР. В 1989 году был избран народным депутатом СССР (по квоте КПСС). С июня 1989 по сентябрь 1990 года являлся председателем Совета Союза ВС СССР.
В марте-декабре 1990 года входил в состав Президентского совета, где занимался вопросами внешней политики. Вел переговоры с Саддамом Хуссейном накануне войны в Персидском заливе (познакомился с ним еще в 1969 году будучи журналистом). В 1991 году стал членом Совета Безопасности СССР. После провала попытки государственного переворота в августе 1991 года и разделения КГБ с 30 сентября 1991 года возглавил Центральную службу разведки (бывшее Первое главное управление КГБ СССР), с сентября по ноябрь 1991 года — первый заместитель председателя КГБ СССР. С декабря 1991 года — директор Службы внешней разведки РФ. В сентябре 1992 года выступил с рядом предложений по налаживанию сотрудничества российских и зарубежных разведслужб в борьбе с наркомафией и организованной преступностью, распространением оружия массового уничтожения, по заключению соглашения о некоем моральном кодексе разведки, которое, будучи подписанным в верхах, дало бы возможность оперативникам не выполнять приказов, которые противоречили бы принятым нормам. 20 октября 1993 года Указом Президента РФ был назначен членом Совета безопасности (СБ) РФ, с октября 1997 года — председатель Комиссии по международной безопасности СБ РФ. В январе 1996 года был назначен министром иностранных дел России. С декабря 1996 года — председатель Межведомственной комиссии по делам Совета Европы, с января 1997 года — член Совета по внешней политике при Президенте РФ. На посту министра проводил более жесткую политику, чем его предшественник Андрей Козырев. В январе 1997 года высказался за введение экономических санкций в отношении Латвии и Эстонии в связи с ущемлением прав русскоязычного населения. В сентябре 1998 года был назначен премьер-министром РФ. На этом посту начал активное назначение на руководящие посты своих бывших коллег по внешней разведке (известно, что он симпатизирует так называемой «индийской мафии» в СВР — работникам азиатского направления).
В мае 1999 года был отправлен в отставку, и после небольшой паузы стал председателем координационного совета блока «Отечество — Вся Россия» (ОВР), возглавив его список на парламентских выборах 1999 года. С августа 1999 года — председатель Координационного Совета ОВР.
