В 1889 г. окончил историко-филологический факультет Петербургского университета. Ученик И. П. Минаева. Защитив диссертацию на тему «О двух рядах гортанных в индоевропейских языках», Щербатской был оставлен при университете для подготовки к профессуре по индологии.
Был командирован за границу, где занимался индийской поэтикой (в Вене у Г. Бюлера) и философией (в Бонне у Г. Якоби).
В 1893 г. возвратился в Россию. На некоторое время он отходит от научной деятельности и занимается общественной деятельностью — был земским гласным и уездным предводителем дворянства.
В октябре 1899 года участвовал в работе 12-го международного конгресса ориенталистов в Риме на котором было объявлено о нахождении древних буддийских рукописей в Синьцзяне.
В 1901—1930 гг. является профессором Петербургского (Ленинградского) университета. В 1905 г. был командирован в Ургу для переговоров с Далай-ламой XIII Тхубтэном Гьяцо.
В 1910—1911 гг. совершает поездку в Индию. Посещает Бомбей, Пуну, Бенарес и Дарджилинг.
С 1918 года - действительный член Российской Академии наук.
В начале 1920-х годов работает в Англии, по заданию советской дипломатической миссии, с лордом Керзоном. В 1923 г. в Лондоне издается первая книга его большой "трилогии" по буддийской философии "Центральная концепция буддизма и значение термина "Дхарма".
В 1924 году научная поездка в Бурятию.
В 1928—30 гг. — директор Института буддийской культуры (ИНБУК).
В 1930—1942 гг. — заведующий Индо-тибетским кабинетом Института востоковедения АН СССР. В 1937 году Щербатский подвергся резкой критике, а многие его ученики были репрессированы во время борьбы с идеализмом в востоковедении.
В 1937 году участвует в организации приезда в СССР индийского буддолога Рахула Санкритьяяна, ставшего преподавателем в ЛГУ.
В 1941 году после начала войны он в числе некоторых учёных был эвакуирован в посёлок Боровое в Северный Казахстан, где умер 18 марта 1942 года.
Труды по буддийской логике и философии. Опубликовал и ввел в научный оборот значительное число письменных памятников на санскрите и тибетском языке Вместе с С. Ф. Ольденбургом основал в 1897 г. международный научно-издательский проект «Bibliotheca Buddhica».
Ф. И. Щербатской — автор свыше 60 работ, из них 6 монографий: