Эрнст Эмиль Герцфельд родился 23 июля 1879 года в Целле в семье Джозефа Герцфельда и его жены Маргарет Розенталь.
Учился в одной из старейших школ Германии — Domgymnasium Verden в Вердене и в Joachimsthalsches Gymnasium в Берлине. Провёл один год на военной службе. Получил учёную степень по архитектуре в Берлинском техническом университете. Посещал также курсы ассириологии и истории искусства в университетах Мюнхена и Берлина.
В 1903—1906 годах Герцфельд был помощником Вальтера Андре и Фридриха Делича в раскопках города Ашшур.
Мировую известность приобрёл благодаря своим археологическим исследованиям в Самарре (1911—1913), Персеполе (1931—1934). Менее обширные раскопки проводил в Киликии и Пасаргадах.