После школы Эрцбергер посещал учительские курсы и работал школьным учителем. В 1896 году он поступил в университет Фрибура, где изучал государственное право и политическую экономию. В том же году прервал обучение и отправился в Штутгарт, где получил должность редактора католического издания. Одновременно начал работать в партии Центра. В 1903 году Эрцбергер стал самым молодым на тот момент депутатом рейхстага.
Незадолго до начала Первой мировой войны Эрцбергеру было поручено руководство пропагандой Германской империи за рубежом. В качестве посла по особым поручениям при поддержке министерства иностранных дел и имперского правительства он безуспешно пытался убедить Италию и Румынию не вступать в войну.
Во время мировой войны Эрцбергер и депутат от СДПГ/НСДПГ Карл Либкнехт были единственными политиками, открыто критиковавшими пассивную позицию, которую заняла Германия по вопросу политики союзнической Турции в отношении немусульманского населения Османской империи и прежде всего геноцид армян и ассирийцев. Эрцбергер неоднократно бывал в Константинополе на переговорах с младотурками.
В октябре 1918 года новый рейхсканцлер принц Макс Баденский назначил Эрцбергера статс-секретарём без портфеля и руководителем комиссии по заключению перемирия. 11 ноября 1918 года Маттиас Эрцбергер первым из четырёх членов немецкой делегации поставил свою подпись под Компьенским перемирием, прекратившим боевые действия в Первой мировой войне. В январе 1919 года Маттиас Эрцбергер был избран в Веймарское национальное собрание. В кабинет Шейдемана возглавлявший комиссию по заключению перемирия Эрцбергер входил как министр без портфеля и ведал вопросами контроля за прекращением огня. Поскольку Эрцбергер выступал за подписание Версальского договора, вступив тем самым в острый конфликт с рейхсминистром иностранных дел графом Ульрихом фон Брокдорф-Ранцау, его презрительно называли политиком исполнения.
21 июня 1919 года Эрцбергер был назначен рейхсминистром финансов в кабинете Густава Бауэра. Эрцбергер сформировал новую систему налогового управления и своими реформами заложил основы современной налоговой системы Германии.
Проводимая Эрцбергером политика централизации налоговых сборов и рост налогов с крупного капитала в целях оздоровления финансовой системы страны сделала его мишенью для правой пропаганды. В частности Эрцбергер неоднократно подвергался нападкам со стороны лидера Немецкой национальной народной партии Карла Гельфериха и был вынужден подать на него в суд за оскорбления в свой адрес в одной из изданных Гельфферихом брошюр. Суд приговорил Гельффериха к незначительному денежному штрафу и частично согласился с изложением Гельффериха. Этот приговор считается известным примером политической юстиции в Веймарской республике, когда судьи часто были «слепы на правый глаз». Приговор суда послужил поводом для ухода Эрцбергера в отставку в тот же день.
Травля Эрцбергера правой пропагандой закончилась его убийством. Ещё 26 января 1920 года бывший фенрих Ольтвиг фон Гиршфельд совершил попытку застрелить Эрцбергера у здания суда в берлинском Моабите. Эрцбергер получил лёгкое ранение в плечо, вторая пуля отскочила рикошетом от металлического предмета в его сумке. Гиршфельд был приговорён всего лишь к 18 месяцам тюрьмы. Эрцбергер пережил глубокий шок. Несмотря на то, что он пытался вернуться в политику, он беспокоился о последствиях такого шага: «Пуля, которая попадёт в меня, уже отлита», — сказал он своей дочери Марии.
26 августа 1921 года бывшие морские офицеры Генрих Тиллессен и Генрих Шульц, состоявшие в правой организации «Консул», фрайкоре Оберланд и Ордене германцев, расстреляли Маттиаса Эрцбергера во время его прогулки с однопартийцем Карлом Дицем. В политика, находившегося на отдыхе, было произведено шесть выстрелов. Тяжело раненный Эрцбергер упал и был убит с близкого расстояния двумя выстрелами в голову. Диц получил тяжёлое ранение.
Генрих Тиллессен был амнистирован в 1933 году, в 1946 году эта амнистия была подтверждена, но в 1947 году со скандалом отменена. В марте 1947 года суд Констанц приговорил Тиллессена к 15 годам лишения свободы. 19 июля 1950 года Генрих Шульц был приговорён к 12 годам тюремного заключения. Оба отсидели лишь небольшую часть срока и уже в 1952 году были освобождены.