Окончил переводческое отделение филологического факультета Ленинградского государственного университета и военную кафедру при нём (1975), высшие курсы КГБ СССР в Минске (1976), Краснознамённый институт КГБ СССР (1981).
В 1974 году отправлен изучать английский язык в Илингский технический колледж (Великобритания)
В 1975 году был принят на службу в КГБ СССР. В 1976—1977 годах — сотрудник 1-го (кадрового) отдела Управления КГБ по Ленинграду и Ленинградской области, где работал в одном подразделении вместе с будущим Президентом Российской Федерации Владимиром Путиным.
Работал до 1985 в резидентуре в Финляндии, а затем в Кении.
В 1991—1998 годах продолжил работать в Службе внешней разведки России. Службу в разведке закончил первым заместителем директора Европейского департамента СВР России
С августа 1998 года назначен заместителем директора ФСБ — начальником департамента анализа, прогноза и стратегического планирования (ФСБ в это время возглавлял Владимир Путин).
С 15 ноября 1999 года — секретарь Совета безопасности России.
С 15 ноября 1999 года являлся постоянным членом Совета безопасности Российской Федерации, продолжал занимать этот пост при назначении Министром и Первым заместителем Председателя Правительства и занимал данный пост до 25 мая 2008 года, когда при формировании нового состава Совета безопасности, Президент Российской Федерации Д. А. Медведев не включил его в новый состав Совета безопасности.
С 9 ноября 2000 года уволен с действительной военной службы в запас.
28 марта 2001 года назначен министром обороны Российской Федерации, 14 ноября 2005 года — заместителем Председателя Правительства Российской Федерации — министром обороны Российской Федерации.
С 20 марта 2006 года — председатель Военно-промышленной комиссии при Правительстве Российской Федерации.
15 февраля 2007 года освобождён от должности заместителя Председателя Правительства Российской Федерации — министра обороны Российской Федерации и назначен первым заместителем Председателя Правительства Российской Федерации. Некоторое время наряду с Дмитрием Анатольевичем Медведевым считался одним из наиболее вероятных преемников В. В. Путина на посту Президента России. Однако в итоге была выдвинута кандидатура Медведева, и Иванов, вслед за Путиным, выразил ему поддержку.
12 мая 2008 года в правительстве В. В. Путина занял пост заместителя Председателя Правительства Российской Федерации. Курировал вопросы военной промышленности.
C 22 декабря 2011 года — руководитель Администрации Президента Российской Федерации.
Свободно владеет английским и шведским языками. Регулярно посещает матчи баскетбольного, хоккейного и футбольного клубов ЦСКА. Любит творчество The Beatles. Женат. Жена — Ирина, 1953 года рождения. Москвичка, имеет высшее экономическое образование. В семье двое детей: сыновья Александр (1977 г.р.) и Сергей (1980 г.р.).
Бывшая госсекретарь США Кондолизза Райс в своих мемуарах «Высшая честь» так характеризовала личность Иванова: «Сергей был жестким и немного подозрительным по отношению к Соединенным Штатам, однако на него можно было положиться. Он никогда не обещал сделать того, что сделать не мог. Вне зависимости от должностей и званий Иванов оставался безотказным каналом связи с Путиным даже в самых деликатных ситуациях. В отношениях между Белым домом и Кремлем этот канал был самым важным и адекватным».
20 мая 2005 года в Москве на улице Лобачевского сын Иванова Александр, находясь за рулём автомобиля VW Bora, сбил насмерть 68-летнюю Светлану Беридзе, переходившую дорогу по пешеходному переходу. Позднее уголовное дело в отношении Александра было прекращено (основания прекращения дела, с большой степенью вероятности, являются реабилитирующими — то есть сын Иванова формально считается не привлекавшимся к уголовной ответственности). Сергей Борисович, когда информация о прекращении дела попала в СМИ, сказал в одном из интервью, что поздравил сына с прекращением дела, а также заявил, что никакой помощи или содействия сыну в прекращении дела не оказывал. По мнению некоторых средств массовой информации, именно это происшествие — а скорее даже то, что Александр Иванов избежал уголовной ответственности — и лишило его отца всех возможных шансов на президентское кресло.
На июнь 2007 года Александр работал во Внешэкономбанке.. Занимал должность директора департамента. В 2012 году стал зампредом этого же банка.
На июнь 2007 года работал вице-президентом «Газпромбанка». В феврале 2010 года в возрасте 29 лет, назначен заместителем председателя правления Газпромбанка.
5 апреля 2011 года вступило в силу решение совета директоров Газпромбанка о досрочном прекращении полномочий Сергея Иванова как заместителя председателя правления и как члена правления Газпромбанка. В тот же день он был назначен главой правления страховой компании ОАО «СОГАЗ».
В 2011 году занимает должность председателя наблюдательного совета Россельхозбанка.
22 июня 2011 года по итогам собрания акционеров вошёл в совет директоров Газпромбанка.