Младший сын курфюрста Фридриха II родился 31 июля 1443 года в замке в Гримме.
В возрасте 12 лет он вместе с братом Эрнстом рыцарем Кунц фон Кауфунген был похищен (так называемое «Саксонское похищение принцев») из замка Альтенбург (1455 год).
Часть молодости он провёл на дворе императора Фридрих III в Вене. 1464 году он женился на Зденке, дочь чешского короля Йиржи из Подебрада.
Когда в 1464 году умер его отец, братья Эрнст и Альбрехт приступили к совместному правлению. В 1471 году они вместе начали строительство новой резиденции в Мейсене, которая с 1676 года была названа в честь Альбрехта Альбрехтсбург.
В 1459 году женился на Сидонии Богемской (1449—1510), дети: