Ремез родился в поселке Копысь в Российской империи (на территории современной Беларуси) в 1886 году и учился там в средней школе. Он изучал право в Турции перед началом работы в качестве преподавателя. Ремез переехал в Османскую Палестину в 1913 году, работал сельскохозяйственным рабочим в поселениях Бен-Шемен, Беэр-Тувия, Каркур и Зихрон-Яаков
Ремез стал участвовать в политике и профсоюзном движении вскоре после начала британского мандата на Палестину. Он работал в качестве директора бюро общественных работ в Гистадруте с 1921 года по 1929 год, а также в городском совете Тель-Авива с 1921 года по 1925 год.
Давид Ремез был одним из основателей партии Мапай, вместе с Давидом Бен-Гурионом. В 1930 году Ремез стал секретарем Гистадрута, и сохранял эту должность до 1946 года, а также возглавлял Еврейский национальный совет в 1944-1949 годах.
После подписания декларации независимости Израиля, Ремез был назначен министром транспорта во временном правительстве Давида Бен-Гуриона 14 мая 1948 года, эту должность он сохранил и после образования первого правительства после первых выборов в Кнессет в 1949 году. После того, как в ноябре 1950 года первое правительство рухнуло, Ремез стал министром образования, взяв на себя функции Залмана Шазара.
Давид Ремез скончался на посту министра в мае 1951 года.
На протяжении многих лет Давид Ремез продолжал писать статьи и стихи, которые печатались в литературном журнале на иврите «Ха-Шилоах». Ремез ввёл в современный иврит много новых слов и выражений.
После его смерти несколько мест в Израиле были названы его именем, в том числе район Хайфы «Рамат-Ремез» и площадь Ремез в Иерусалиме. Его сын, Аарон Ремез был вторым командующим израильских ВВС.