В апреле 1928 года закончил Высшее техническое училище им. Баумана по специальности инженер-электрик. Дипломная работа была посвящена проблемам устойчивости энергосистем, создававшихся по плану ГОЭЛРО. Затем работал во Всесоюзном электротехническом институте (ВЭИ). После выделения в 1930 году электротехнического факультета МВТУ в самостоятельный Московский энергетический институт стал преподавателем МЭИ. С 1936 году — профессор.
В феврале 1945 года избирается действительным членом Академии Наук УССР, а в мае 1946 года назначается директором Института энергетики АН УССР в Киеве. В 1947 году после разделения этого института становится директором Института электротехники АН УССР.
В 1947 году в Институте электротехники организуется лаборатория моделирования и вычислительной техники. Здесь в 1948—1950 годах под его руководством была разработана первая в СССР и континентальной Европе Малая электронно-счётная машина (МЭСМ).
В 1950 году приглашён в Институт точной механики и вычислительной техники (ИТМиВТ) АН СССР в Москве, где руководил созданием БЭСМ-1. В 1950 году удостоен Сталинской премии. После сдачи БЭСМ-1, c 1952 года являлся директором ИТМиВТ. Институт впоследствии получил его имя.
Под его руководством были созданы 15 типов ЭВМ, начиная с ламповых (БЭСМ-1, БЭСМ-2, М-20) и заканчивая современными суперкомпьютерами на интегральных схемах.
Академик Академии наук СССР по отделению физико-математических наук (счётные устройства) с 1953 года. Удостоен звания Героя Социалистического Труда.
В начале 1970-х годов Сергей Алексеевич Лебедев по состоянию здоровья уже не мог руководить ИТМиВТ, а в 1973 году тяжёлая болезнь вынудила оставить его пост директора. Но он продолжал работать дома. Суперкомпьютер Эльбрус — это последняя машина, принципиальные положения которой были разработаны академиком Лебедевым.
Академик Лебедев резко выступал против начавшегося в 1970-е годы копирования американской системы IBM 360, которая в советском варианте носила название ЕС ЭВМ.
В 1955 году подписал «письмо трёхсот».