Альбрехт IV был единственным сыном австрийского герцога Альбрехта III и Беатрисы Гогенцоллерн. После смерти отца 29 августа 1395 года, Альбрехт IV унаследовал престол Австрии. В состав его владений входило лишь собственно герцогство Австрия (современная земля Нижняя Австрия и восточная часть земли Верхняя Австрия), а также Крайна. Остальные владения Габсбургов согласно Нойбергскому договору 1379 года принадлежали двоюродным братьям Альбрехта IV из Леопольдинской линии. Междоусобицы с братьями стали характерной чертой всего правления Альбрехта IV в Австрии. В 1398 году Альбрехт предпринял паломничество в Иерусалим и был посвящён в рыцари на Гробе Господнем.
Помимо конфликтов с Леопольдинской линией Габсбургов, Альбрехт IV принимал активное участие в борьбе за власть между наследниками императора Карла IV. Уже в 1394 году Альбрехт установил союзные отношения с маркграфом Моравским Йостом против его двоюродного брата — германского короля Венцеля. Это привело к серии пограничных столкновений с Прокопом — младшим братом Йоста, но сторонником Венцеля.
В 1402 году Альбрехт IV заключил договор с венгерским королём Сигизмундом, направленный против Вацлава IV и Йоста Моравского. Испытывающий крайнюю нужду в военной и финансовой помощи, Сигизмунд обещал Габсбургам передать им Бранденбург, а также право на наследование после его смерти королевских престолов Чехии и Венгрии. Сигизмунду удалось захватить в плен Вацлава IV, которого он передал Альбрехту IV. Император находился в Вене под арестом с осени 1402 по осень 1403 года, после чего ему удалось бежать.
В 1404 году австрийские войска осадили Зноймо, которым владел противник Сигизмунда Йост Моравский, однако в войсках вспыхнула эпидемия дизентерии, от которой Альбрехт IV скончался. Существует версия, что он был отравлен, а лечивший его венский врач использовал обычный для того времени способ лечения: повесил герцога вниз головой, ожидая, что яд сам выйдет из тела.