Единственный сын рава Авраама Левинсона и Хаи-Муси, дочери раввина-каббалиста Шломо Ильяшова. В 1923 г. семья перебралась в Иерусалим и поселилась в Меа Шеарим. С детства проявил выдающиеся способности к учебе и приучил себя учиться по 18 часов в сутки. Учёный-самоучка.
Женился на дочери раввина Арье Левина, иерусалимского праведника и «раввина заключённых». Пару познакомил и вёл свадебную церемонию рав Кук. Пара произвела на свет 12 детей. Первое время пара с трудом сводила концы с концами, однако способный молодой человек вскоре обратил на себя внимание главного раввина Израиля И.-А. Герцога, разъяснив ему юридическую проблему, которую тот сам не мог решить. Вскоре рав Герцог пригласил рава Эльяшива на государственную службу в Главный раввинский суд, где он участвовал во всех заседаниях вплоть до 1974 г. В результате разногласий с главным государственным ашкеназским раввином Шломо Гореном по поводу решения последнего считать брата и сестру, подозреваемым в том, что они мамзеры, кошерными евреями, демонстративно отказался принимать участие в религиозном суде Верховного Раввината.
Параллельно со своей работой в раввинате рав Эльяшив публикует произведения по галахе. В 1988 принимает приглашение рава Шаха присоединиться к раввинскому совету партии Дегель-а-Тора. В последнии годы жизни рава Шаха усиливается авторитет рава Эльяшива в литовском мире как нового руководителя. После смерти рава Шаха(тоже перешагнул вековой рубеж) в 2001 рав Эльяшив был официально объявлен высшим руководителем, то есть последней инстанцией при решении любых вопросов в литовском течении ультраортодоксального иудаизма.
12 марта 2010 года все израильские СМИ сообщили, что 100-летний раввин Шалом Йосеф Эльяшив подписал письмо в защиту раввина Элиора Хена, находящегося под судом по обвинениям в создании секты, члены которой годами издевались над детьми. Следом за ним под посланием поставили свои подписи известные раввины Аарон Йеуда Лейб Штейнман и Хаим Каневский. «Мы взываем к милости небес в защиту рава, который всю свою жизнь посвятил изучению Торы».
Однако в тот же день из офиса рава Штейнмана сообщили (и это цитирует сайт газеты «Гаарец»): «Рав Штейнман подписывает ежедневно десятки писем, возможно, он случайно спутал, и подписал это письмо по ошибке, вместо какого-другого письма»