Родился в семье адвоката Бориса Наумовича Зельдовича и Анны Павловны Кивелиович. Учился экстерном на физико-математическом факультете Ленинградского государственного университета и физико-механическом факультете Ленинградского политехнического института, в аспирантуре Института химической физики АН СССР в Ленинграде (1934), кандидат физико-математических наук (1936), доктор физико-математических наук (1939).
Один из создателей атомной бомбы (29 августа 1949) и водородной бомбы (1953) в СССР.
Наиболее известны труды Якова Борисовича по детонации, описанию процессов горения, ядерной физике, астрофизике, гравитации. В 1939—1941 годах Я. Б. Зельдович и Ю. Б. Харитон впервые осуществили расчёт цепной реакции деления урана.
В 1955 году подписал «Письмо трёхсот».
В работах Зельдовича по космологии основное место занимала проблема образования крупномасштабной структуры Вселенной. Учёный исследовал начальные стадии расширения Вселенной. Вместе с сотрудниками построил теорию взаимодействия горячей плазмы расширяющейся Вселенной и излучения, создал теорию роста возмущений в «горячей» Вселенной в ходе космологического расширения, рассмотрел некоторые вопросы, связанные с возникновением галактик в результате гравитационной неустойчивости этих возмущений; показал, что возникающие образования высокой плотности, которые являются, вероятно, протоскоплениями галактик, имеют плоскую форму.
В сотрудничестве с Р. А. Сюняевым создал теорию рассеяния реликтового излучения на электронах и предсказал физическое явление, известное под названием эффекта Сюняева — Зельдовича.
Ряд предсказанных Зельдовичем эффектов получили экспериментальное подтверждение. В конце XX — начале XXI веков были открыты гигантские пустые области во Вселенной, окружённые сгущениями галактик, и обнаружено понижение яркостной температуры реликтового радиоизлучения в направлениях на скопления галактик с горячим межгалактическим газом (эффект Зельдовича — Сюняева).
Я. Б. Зельдович является соавтором нескольких научных открытий, которые занесены в Государственный реестр открытий СССР:
В 1963 г. Зельдовичем был написан учебник по математике — «Высшая математика для начинающих и ее приложения к физике». Учебник пережил множество переизданий c дополнениями и исправлениями, самое известное: «Высшая математика для начинающих физиков и техников», (совместно с И. М. Ягломом).
Награждён золотой медалью им. К. Брюс Тихоокеанского астрономического общества (1983), Золотой медалью Лондонского королевского астрономического общества (1984), золотой медалью имени И. В. Курчатова (1977). Президиум РАН присудил Я. Б. Зельдовичу премию имени А. А. Фридмана 2002 года за серию работ «Эффект понижения яркости реликтового излучения в направлении на скопления галактик».
Рассказывают, что когда Якова Борисовича избрали академиком, в Арзамасе-16 на банкете по случаю этого события Зельдовичу подарили чёрную академическую шапочку (носили такие примерно до 60-х годов) и плавки. На шапочке была надпись «Академия Наук СССР», а на плавках — «Действительный член».
Рассказывают, что однажды академик Мигдал назвал во время жаркой дискуссии Зельдовича при посторонних людях «жопой». Зельдович ничего не ответил, но позже в одной из его статей в УФН появился акростих, приписанный Велимиру Хлебникову: «Могучий и громадный, далек астральный лад. Желаешь откровенья — познай атомосклад», с пометкой «Разыскания Я. Б. Зельдовича». Впрочем, редакция в последний момент заменила слова «Желаешь откровенья» на «Ты ищешь объясненья».
На одном из собраний Зельдовича попросили высказаться на философскую тему «О форме и содержании». Зельдович ограничился одной фразой: «Формы должны быть такими, чтобы их хотелось взять на содержание».
Существует легенда, что Зельдович в начале своей научной работы был «откуплен» Физико-техническим институтом у Института «Механобр» за вакуумный насос.
По свидетельству очевидцев (А. А. Павельев) в публичных научных спорах Я. Б. Зельдович, иллюстрируя суть ответов оппонентов, позволял себе аналогии с одесскими разговорами: «Софочка, когда ты вернешь мне сковороду? Во-первых, я ее у тебя не брала, а, во-вторых, я тебе ее уже отдала!» — «Леонид Иванович! Вы утверждаете, что, во-первых, наши результаты не верны, а, во-вторых, вы сами все это давно уже сделали!»