Окончил Венскую консерваторию, широко концертировал. В 1938 г. подвергся нападению нацистов, сломавших ему руки как еврею-пианисту. Баллер вместе с невестой бежал в Венгрию, затем в Югославию и к декабрю добрался до США, где и провёл оставшуюся жизнь. В 1941 г. он поселился у Иегуди Менухина, на 15 лет став его аккомпаниатором; многие концерты Менухина и Баллера в начале 1940-х гг. давались в разных частях света для солдат армии союзников. В 1944 г. с благословения Менухина Баллер, виолончелист Габор Рейтё и скрипач Енё Ленер образовали Альма-трио, в составе которого Баллер играл вплоть до 1971 г. Среди учеников Баллера по Сан-Францисской консерватории и музыкальному отделению Стэнфордского университета был, в частности, Джером Роуз.