Я. И. Френкель родился в еврейской семье в Ростове-на-Дону в 1894 году. Его родители — народоволец Илья Абрамович Френкель и Розалия Абрамовна Баткина; дядя — Яков Абрамович Френкель (1877, Таганрог — 1948, Москва) — советский музыковед. В 1912 году, ещё учась в гимназии, он написал свою первую работу по магнитному полю Земли и атмосферному электричеству. Эту работу Яков Френкель показал Абраму Фёдоровичу Иоффе, который прочёл её и прокомментировал. Знакомство с Иоффе в дальнейшем привело к их с Френкелем дружбе и сотрудничеству.
В 1913 году Яков Френкель поступил в Петербургский университет, через 3 года окончил его и был оставлен в университете для подготовки к профессорскому званию.
С 1921 года и до конца своей жизни Френкель работал в Ленинградском физико-техническом институте. Начиная с 1922 года Френкель публиковал буквально каждый год новую книгу. Он стал автором первого курса теоретической физики в СССР. Многие студенты в СССР и за рубежом изучали физику по этому курсу. За свои научные достижения он был избран членом-корреспондентом Академии наук СССР в 1929 году.
Некоторое время (1930 г.) он работал по приглашению Миннесотского университета (США).
В 1931 и 1936 годах опубликовал работы, в которых предсказал существование экситонов в полупроводниках, ввёл сам термин экситоны, и разработал для него теорию.
Профессор кафедры физики Ленинградского института точной механики и оптики (ЛИТМО) (1947-50). Является одним из основоположников физического образования и создателей инженерно-физического факультета ЛИТМО.
Я. Френкель среди участников семинара А. Ф. Иоффе (крайний слева). 1915.
Академики А. Ф. Иоффе, Я. И. Френкель и О. Г. Гольдман, Киев, 1936 год