С 1962 года приступил к тренерской работе, и за 30 лет карьеры, вплоть до своей смерти в 1992 году, дважды приводил свои клубы к победе в Кубке европейских чемпионов и ещё трижды доходил до финала европейских клубных турниров. В общей сложности завоевал восемь чемпионских титулов первенств Нидерландов, Бельгии, Германии и Австрии. Вице-чемпион мира 1978 года вместе со сборной Нидерландов.
Большую часть своей игровой карьеры Хаппель провёл в венском «Рапиде» (1942—1955 и 1956—1959), с перерывом на два сезона во французском «Расинге» (Париж). Вместе с «Рапидом» он шесть раз получал титул чемпиона Австрии, выигрывал кубок Австрии а также проводившийся в 1951 году Кубок Центропы. Хаппель играл в обороне на позиции центрального защитника и стоппера. Отличался высокотехничной и изысканной игрой.
Карьеру в национальной сборной Австрии начал 14 сентября 1945 года матчем против сборной Венгрии в Вене (4:3). Выступал в составе австрийской команды на двух чемпионатах мира: в 1954 (бронзовый призёр) и 1958 годах.
Был участником знаменитого четвертьфинального матча чемпионата мира 1954 года между Швейцарией и Австрией, т. н. «Знойной битвы под Лозанной» (нем. Hitzeschlacht von Lausanne). Эта игра проходила в условиях более чем 35-градусной жары и завершилась победой сборной Австрии со счётом 7:5 — рекорд чемпионатов мира по количеству голов в одной игре, не побитый до сих пор. Австрия тогда вышла в полуфинал, где уступила будущим чемпионам — сборной ФРГ, но затем смогла выиграть матч за 3-е место у команды Уругвая — 3:1. Эта «бронза» по сей день является высшим достижением австрийского футбола на чемпионатах мира.
Последнюю игру за национальную сборную Хаппель провёл сразу после окончания чемпионата мира 1958 года — 14 сентября 1958 года со сборной Югославии (австрийцы уступили со счётом 3:4).
Свою тренерскую деятельность Эрнст Хаппель начал в должности технического директора венского «Рапида». После этого с 1962 года, когда он принял голландский клуб АДО из Гааги, и вплоть до 1987 года он не тренировал ни одной австрийской команды. За это время он успел выиграть чемпионаты и кубки трёх стран (Нидерландов, Бельгии и Германии).
В 1978 году, возглавляя сборную Нидерландов, Хаппель дошёл с ней до финала мирового первенства.
В 1987 году он принял созданную лишь годом ранее команду «Сваровски-Тироль» и сразу же вывел её в полуфинал Кубка УЕФА, а уже через год выиграл чемпионат Австрии. В 1992 году он оставил эту команду (которая, впрочем, уже в том же году прекратила свое существование), чтобы возглавить национальную сборную Австрии.
Эрнст Хаппель скончался в Инсбруке 14 ноября 1992 года от рака. После смерти выдающегося футболиста и тренера самый большой стадион Австрии — венский «Пратер» — переименовали в «Эрнст-Хаппель-штадион».