Эрнст родился в семье банкира Оскара Бальке и его жены Элизабет, урожденной Л'Эрме. Изучал романистику и англистику в Берлине, Мюнхене, Безансоне и Эдинбурге. В декабре 1911 года успешно сдал в Берлине выпускной экзамен. В столичном «Новом клубе» он познакомился с поэтом Георгом Геймом. Бальке писал большей частью «стихи на случай», избранное из которых позднее опубликовал экспрессионистский журнал «Die Aktion». Известный литератор Курт Хиллер так отозвался о его творчестве:
В январе 1912 года, он утонул, катаясь на реке Хафель вместе со своим другом Георгом Геймом. В 1914 году, уже после смерти Бальке, в берлинском издательстве «Reuss & Pollack» вышла книга его стихов.