Родился в хабадской семье в Могилёве. Закончил гимназию в Керчи. Увлекся палестинофильскими (ранне-сионистскими) идеями и основал группу «Брах доди». Получил юридическое образование в московском университете. В годы учёбы вступил в «Хибат Цион». В 1884 году вмете с Усышкиным и Членовым создал кружок «Бней Цион». Мазе принадлежал к закаленному поколению восьмидесятников, взгляды которых формировались в годы разгула антисемитизма. Молодежь тех лет активно воспринимала идеи сионизма и стремилась к возрождению национальной культуры. В 1890 году совершил поездку в Палестину с целью закупки земель. В 1893 году, при содействии раввина Мазе, в Москве начинает работать Общество любителей древнееврейского языка и в этом же году, после высылки Зелика Минора назначен казённым раввином Москвы.
Выступал как эксперт по иудаизму на деле Бейлиса; его выступление произвело большое впечатление. В. Д. Бонч-Бруевич, освещавший процесс в качестве журналиста, писал о выступлении Мазе:
В 1914 году, когда началась Первая мировая война, раввин Мазе от имени евреев Москвы в Большом Кремлевском дворце докладывал Николаю II об участии евреев Москвы в деле защиты Отечества, об устройстве в Московской хоральной синагоге лазарета для раненых.
В 1916 году в Москву приехал поэт Хаим-Нахман Бялик, и во многих залах города проходили его творческие вечера. По инициативе Мазе был основан Детский фонд им. Бялика для издания детской литературы на еврейском языке.
После Февральской революции раввина Мазе избрали по еврейскому национальному списку во Всероссийское Учредительное собрание. В 1921 году, встречался с Горьким, а затем, в июле того же года, с Лениным, пытаясь остановить погромы на Украине и гонения против религии в СССР. В 1923 году обратился к Калинину и Дзержинскому с протестом против попыток закрытия хоральной синагоги.
Яков Мазе, раввин и общественный деятель скончался 20 декабря 1924 года. Его тело было перенесено в Большой молитвенный зал Хоральной синагоги и тысячи людей пришли отдать долг памяти этому выдающемуся человеку. Похоронен на Дорогомиловском кладбище. В 1932 году останки Якова Мазе перезахоронены на Востряковском кладбище. В его честь названа улица в Тель-Авиве.