Родился в 1878 году в городе Коссово Гродненской губернии в семье раввина Коссово Шмарьяу-Йосефа Карелица. В числе его предков были Баал а-Маор (XII век), Махараль из Праги (XVI век) и р. Арье Лейб Эпштейн «Баал а-Пардес» (XVIII век).
Начальное традиционное образование получил у отца, раввина, после чего продолжал занятия самостоятельно. Подобно Виленскому Гаону, которого считал своим духовным учителем, Хазон Иш никогда не занимал официальных должностей.
В 1911 году анонимно издал первый том своего галахического труда «Хазон Иш» («Видение человека»), привлекший к молодому автору внимание духовного лидера еврейства Литвы р. Хаима-Озера Гродзинского, с которым Хазон Иш особенно сблизился после переезда в 1920 г. в Вильно. Со временем получил известность в качестве выдающегося мудреца Торы, и пользовался большим уважением за свои глубокие знания и свой скромный образ жизни.
Вскоре после переселения в Землю Израиля (1933) Хазон Иш стал признанным духовным лидером ультра-религиозных кругов страны и принимал деятельное участие в жизни страны.
Хазон Иш считается «отцом» мира иешив, и его вклад в восстановление изучения Торы на Земле Израиля неоценим. Также значителен его вклад в решение галахических проблем, важных для соблюдения заповедей Торы, связанных с Землёй Израиля. Хазон Иш внёс немалый вклад в решение галахических проблем, связанных с сельским хозяйством. В частности, он разработал доильные аппараты, которые могут использоваться в Шаббат, а также позволил применять гидропонику в шмиту — субботний год, запрещённый Торой для сельского хозяйства. Вместе с этим, он решительно возражал против другого решения — временной продажи земель (эттер мехира), которая была одобренна р. И.-Э. Спектором и р. А.-И. Куком.
Хазон Иш оставил после себя множество учеников, а также главный свой труд — книгу «Хазон Иш». Кроме своего основного сочинения, Карелиц оставил более 40 книг в области Галахи и этики. Настаивал на абсолютном авторитете Мудрецов Талмуда, даже в агадической части, сформулировал точку зрения, распространённую в среде «ультра-ортодоксов»: «Все, что сказано в Талмуде, … будь то Агада или Галаха, — вещи открытые нам в пророчестве, всякий, кто отклоняется от этого положения, отрицает слова Мудрецов, и если он резник — его продукты некошерны» .
Рассказывают о легендарной беседе Хазон Иша с тогдашним премьер-министром Давидом Бен-Гурионом, который специально приехал к нему в Бней Брак. Между ними завязалась дискуссия о том, в каких формах возможно сосуществование в молодой еврейской стране традиционных и отошедших от традиции евреев. Хазон Иш привел своему собеседнику известный сюжет из Талмуда: когда на узкой тропе встречаются два верблюда, один нагруженый, другой — нет, то второй должен уступить дорогу. Точно так же, сказал он Бен-Гуриону, новое еврейское государство должно считаться с богатейшей древней традицией. «Наш корабль везет груз трёх тысяч лет истории, наследия и традиции. А ваш — пуст…». На что Бен-Гурион возразил — не пуст, поскольку светский сионизм привёл к созданию еврейского государства. Однако, с точки зрения иудаизма, это не имело ценности, так как сопровождалось массовым оставлением заповедей.