Родился в городе Игумен Минской губернии (иногда указывается неверное место рождения Петербург, откуда незадолго до его рождения переехали его родители), но вырос в Киеве, где окончил гимназию с золотой медалью. В 1898 году поступил на естественный факультет Киевского университета. В 1899 году, после переезда родителей в Петербург, перевёлся на историко-филологический факультет Петербургского университета. Ученик И. А. Бодуэна де Куртенэ. В 1903 году окончил Петербургский университет с золотой медалью за сочинение «Психический элемент в фонетике».
В 1906—1908 гг. жил в Европе, изучал грамматику, сравнительно-историческое языкознание и фонетику в Лейпциге, Париже, Праге, исследовал тосканские и лужицкие (в частности, мужаковский) диалекты. В Париже, в числе прочего, работал в лаборатории экспериментальной фонетики Ж.-П. Руссло. С 1909 года — приват-доцент Петербургского университета. Преподавал, помимо него, на Высших женских курсах, в Психоневрологическом институте, на курсах для учителей глухонемых и учителей иностранных языков. Читал курсы по введению в языкознание, сравнительной грамматике, фонетике, русскому и старославянскому языкам, латыни, древнегреческому, преподавал произношение французского, английского, немецкого языков.
В 1909 году создал в Петербургском университете лабораторию экспериментальной фонетики, ныне — его имени. В 1912 году защитил магистерскую диссертацию («Русские гласные в качественном и количественном отношении»), в 1915 году — докторскую диссертацию («Восточнолужицкое наречие»). С 1916 года — профессор кафедры сравнительного языкознания Петроградского университета. С 1924 года — член-корреспондент Российской академии наук, с 1943 года — академик АН СССР. С 1924 года — почётный член Международной ассоциации фонетистов.
Развил концепцию фонемы, воспринятую им от Бодуэна, придав термину «фонема» его современное значение. Основатель Ленинградской (Петербургской) фонологической школы. Среди его учеников — Л. Р. Зиндер и М. И. Матусевич.
Среди его научных интересов, помимо уже названных, были синтаксис, грамматика, вопросы взаимодействия языков, вопросы преподавания русского и иностранных языков, вопросы языковой нормы, орфографии и орфоэпии. Подчёркивал важность разграничения научного и «наивного» значения слова, создал научную типологию словарей. Поставил проблему построения активной грамматики, идущей от значений к выражающим их формам (в противоположность традиционной, пассивной грамматике, идущей от форм к значениям).
В работе «О трояком аспекте языковых явлений и об эксперименте в языкознании» разграничил языковой материал, языковую систему и речевую деятельность, развив тем самым идею Ф. де Соссюра о разграничении языка и речи.
Щерба ввёл понятия отрицательного языкового материала и лингвистического эксперимента. При проведении эксперимента, полагал Щерба, важно не только использовать подтверждающие примеры (как можно говорить), но и систематически рассматривать отрицательный материал (как не говорят). В этой связи он писал: «особенно поучительны бывают отрицательные результаты: они указывают или на неверность постулированного правила, или на необходимость каких-то его ограничений, или на то, что правила уже больше нет, а есть только факты словаря, и т. п.»
Л. В. Щерба — автор фразы «Глокая куздра штеко будланула бокра и курдячит бокрёнка».
В Ленинградском университете преподавал до 1941 года. Последние годы жизни провёл в Москве, где и скончался.
В 1944 году, готовясь к тяжёлой операции, изложил свои взгляды на многие научные проблемы в статье «Очередные проблемы языкознания». Учёный не вынес операции, таким образом этот труд стал своего рода завещанием Льва Владимировича. В своей последней работе Щерба затронул такие вопросы, как:
и другие.
По мнению Щербы, один и тот же язык можно описать как с точки зрения говорящего (подбор языковых средств в зависимости от смысла, который нужно выразить), так и с точки зрения слушающего (разбор данных языковых средств с целью вычленения их смысла). Первое он предложил называть «активной», а второе — «пассивной» грамматиками языка.
Активная грамматика очень удобна для изучения языка, но на практике составление такой грамматики очень сложно, так как исторически языки, изучаемые в первую очередь их носителями, описываются с точки зрения пассивной грамматики.