В 1941 году окончил с отличием МВТУ им. Баумана, работал инженером-конструктором на артиллерийском заводе в подмосковном городе Калининграде. Во время учёбы работал старшим наладчиком станков-автоматов на ЗИСе.
Во время Великой Отечественной войны, после эвакуации оказался в Перми на Мотовилихинском артиллерийском заводе, где проработал всю войну, последовательно пройдя ступени инженера-конструктора, старшего инженера-конструктора, начальника технического отдела, заместителя начальника цеха, заместителя главного механика завода. Член КПСС (1944).
В 1946 году приказом министра вооружения был переведён в Главное техническое управление Министерства вооружения СССР, в котором работал старшим инженером, начальником отдела, заместителем начальника управления. В 1955 году назначен начальником Технического управления Министерства оборонной промышленности СССР.
В 1957 г. был назначен заместителем председателя совнархоза Ленинградского экономического административного района по оборонной промышленности. С 1958 г. возглавлял Ленинградский, с 1961 по 1965 г. — председатель СНХ РСФСР и заместитель председателя Совета Министров РСФСР.
В 1965—1983 гг. — министр общего машиностроения СССР. На этом пост ему пришлось организовывать работу «с нуля», объединяя под единым началом многие научно-исследовательские институты и конструкторские бюро (КБ), работающие над созданием ракетно-космической техники.
Под его руководством была решена ключевая государственная задача — достигнут паритет ракетно-ядерных сил в мире. Ещё в 1965 г. соотношение в этой области выглядело как десять к одному в пользу США. Министерство общего машиностроения сумело в короткие сроки внедрить последние разработки КБ и наладить производство по созданию лучших образцов межконтинентальных баллистических ракет (МБР) и баллистических ракет для подводных лодок (БРПЛ). На боевое дежурство в шахтных и иных пусковых устройствах встали около 1000 МБР и 500 БРПЛ.
При этом все приводные рычаги этого необъятного хозяйства были в Министерстве. Афанасьев как-то признался, что мысль о возможном сбое или технических неполадках, которые могли бы привести к взрыву ракеты в шахте или непредвиденному запуску, беспокоила его на протяжении всей карьеры.
Министерство также обеспечивало создание орбитальных станций, в том числе станции Мир. Под его руководством находились КБ таких выдающихся конструкторов, как Бармин, Глушко, Семёнов. Он также работал с Сергеем Королёвым.
В конце 1960-х — начале 1970-х годов развернулась упорная борьба по вопросу выбора типа боевых ракет и пусковых шахт, которые должны были обеспечить превосходство над Соединёнными Штатами. Главными действующими лицами в этой истории были известные конструкторы В. Н. Челомей и М. К. Янгель, а втянутыми в неё оказались и министерство обороны, и отделы ЦК КПСС. Министр в итоге поддержал Челомея. И в этом, и в ряде других случаев позиция министра не совпала с позицией Министра обороны СССР Устинова. Подобные межведомственные трения часто затрудняли работу.
Важность ракетно-космической отрасли позволяла Сергею Афанасьеву при решении сложных вопросов выходить непосредственно не только на членов Политбюро, но и на лидеров страны, в том числе на Брежнева, Андропова, Черненко и Горбачёва.
Будучи депутатом Верховного Совета СССР от Свердловской области, он был близко знаком с первым секретарем обкома Ельциным, они часто вместе посещали предприятия отрасли в области.
Афанасьев был одним из немногих, кто осмелился ослушаться Берию. На совещании в Кремле в 1950-х годах Берия поставил задачу наладить выпуск военных ракет на одном из заводов на юге страны в рекордно сжатые сроки — за несколько месяцев. Сергей Афанасьев, в то время молодой инженер, сказал, что это нереальная задача и потребовал больше времени. После совещания лишь один из присутствующих заступился за упрямого инженера, и пояснил, что если Афанасьева уберут, начало производства затянется больше чем на год, так как реальной замены ему нет.
В 1983—1987 гг. — министр тяжёлого и транспортного машиностроения, а с 1988 г. работал консультантом в Министерстве обороны СССР.
До последних дней жизни он был главным научным консультантом РКК «Энергия» им. С. П. Королёва.
Похоронен на Новодевичьем кладбище в Москве.