Родился в армянской семье. В 1918 году окончил факультет славянской филологии Петербургского (Петроградского) университета. По представлению академика А. А. Шахматова был оставлен на кафедре русского языка для подготовки к научно-исследовательской работе. В 1918—1922 годах преподавал русский язык в школах Пятигорска, Баку, Петрограда.
С 1926 года доцент, а с 1932 года профессор кафедры русского языка Ленинградского государственного университета.
В 1950—1953 гг. заведовал кафедрой русского языка Ленинградского педагогического института им. М. Н. Покровского.
Заведовал словарным сектором Института русского языка Академии наук СССР. Был председателем редколлегии 2, 3 и 4 томов и членом редколлегии всех других томов академического «Словаря современного русского литературного языка». В 1970 г. С. Г. Бархударову была присуждена Ленинская премия.
Был инициатором создания четырёхтомного академического словаря русского языка. Он был председателем редколлегии первого тома этого словаря. В 1975—1979 гг. возглавлял подготовку четырёхтомного «Словаря древнерусского языка».
Сын — Л. С. Бархударов — также является известным специалистом по русскому и английскому языку и литературе, а также теории перевода, автором ряда учебников и публикаций.