Родился 7 марта 1887 года в Юрьеве, ныне город Тарту, Эстония.
В детстве учился игре на скрипке и частным образом изучал теорию музыки, в 1913—1915 и 1919—1920 обучался по классу композиции в Петроградской консерватории у Василия Калафати.
В 1920—1940 годах преподавал теорию музыки и композицию в Высшей школе музыки в Тарту, с 1940 и до самой смерти — в Таллинской консерватории.
Умер 16 июня 1970 года в Таллине. Похоронен на Лесном кладбище в Таллине.
Сочинения Эллера, по большей части инструментальные, сочетают в себе характеристические черты музыки начала XX века, классическую форму и элементы эстонской народной музыки. Стиль композитора приближается к импрессионизму.
Ранние работы композитора, отмеченные влиянием Грига, Дебюсси и Скрябина, знаменуют собой начало нового периода в эстонской музыке. Эллер добавляет к доминировавшему в то время национальному романтизму импрессионистические звучания, которые заметны уже в симфонических поэмах «Рассвет» (1920) и «Ночные зовы» (1921), а чуть позднее — обращается к экспрессионистской манере письма (симфоническая поэма «Призраки», 1924).
Средний период творчества композитора отмечен утончённым лиризмом и в то же время появлением крупных эпико-драматических сочинений, таких как Первая симфония. В 1940-х — начале 1950-х годов Эллер начинает использовать в сочинениях мотивы эстонской народной музыки, характерный пример — Тринадцать пьес для фортепиано (1941).
Наконец, в поздний период, в поисках средств более глубокой выразительности, композитор успешно синтезирует черты различных стилей, в том числе и из собственных ранних работ.
Эллер — один из крупнейших представителей эстонской музыкальной культуры XX века, имеющий огромное значение не только как композитор, но и как педагог: среди его учеников — Эдуард Тубин, Арво Пярт, Виллем Капп и многие другие известные впоследствии эстонские композиторы.