Альбрехт II был четвёртым сыном германского короля и австрийского герцога Альбрехта I и Елизаветы Горицкой, дочери Мейнхарда II, герцога Каринтии. В 1330 году, после смерти своего старшего брата Фридриха I, Альбрехт II унаследовал престол Австрии, разделив власть с младшим братом Оттоном, а после смерти брата стал править единолично. Будучи женатым на наследнице эльзасского графства Пфирт, Альбрехт II присоединил эту область к владениям Габсбургов. В 1335 году, после смерти последнего представителя Горицко-Тирольской династии, в состав австрийских владений вошло обширное герцогство Каринтия. Правда, Тироль из-за сопротивления местного дворянства присоединить не удалось: там воцарилась графиня Маргарита Маульташ.
Альбрехт II благодаря своей рассудительности и отсутствия агрессивных внешнеполитических устремлений завоевал значительный авторитет в Германии. В 1335 году, например, папа римский Бенедикт XII передал на посредничество Альбрехта II его спор с императором Людвигом IV. В 1337 году за помощью Альбрехта II против императора и Англии обратился французский король Филипп VI. Однако австрийский герцог отказался выступить против Людвига IV и до конца жизни оставался лояльным императору.
На время правления Альбрехта II в Австрии пришлись сильные внутренние потрясения: наводнения, землетрясение, чума «Чёрная смерть» 1348—1349 годах. Сложное положение сложилось в родовых передне-австрийских владениях Габсбургов: здесь укреплялось влияние Швейцарского союза, к которому в 1351 году присоединился Цюрих. Поход Альбрехта II на Цюрих в 1352 году оказался неудачным, и город вместе с прилегающей областью был потерян для герцога.
Альбрехт II уделял много внимания упорядочении государственной системы своих владений. Для Штирии и Каринтии он разработал и утвердил основные законы, остававшиеся в силе до падения монархии Габсбургов, в том числе штирийскую «Горную книгу» (нем. Bergb?chel).
В 1355 году Альбрехт II утвердил закон, запрещающий раздел владений Габсбургов, — так называемое «Правило Альбертинского дома» (нем. Albertinische Hausordnung). Несмотря на то, что уже дети Альбрехта II нарушили этот закон и разделили между собой австрийские земли, действие «Правила Альбертинского дома» было возобновлено императором Максимилианом I, а позднее вошло в текст Прагматической санкции и оставалось одним из краеугольных законов Австрийской монархии до 1918 года.