Эл — сын бывшего баскетболиста Альфреда «Тито» Хорфорда, три года выступавшего в НБА за «Милуоки Бакс» и «Вашингтон Буллитс» в конце 1980-х — начале 1990-х, и журналистки Арелис Рейносо. Родился в Доминиканской Республике, вырос в США, окончил школу в городке Гранд-Ледж, штат Мичиган, был звездой местной баскетбольной команды.
После окончания школы в 2004 году поступил в Университет Флориды, основной специальностью выбрал телекоммуникации. В университетской баскетбольной команде «Флорида Гаторс» с середины первого сезона застолбил за собой место в стартовой пятёрке, его партнёрами по команде были будущие игроки НБА, Джоаким Ноа, Тауриан Грин и Кори Брюер. В дебютном сезоне Хорфорд помог команде стать чемпионом Юго-восточной конференции. В следующие два сезона «Гаторс» дважды выигрывали чемпионат NCAA с Хорфордом в качестве основного центрового.
В 2007 году Эл и его партнёры по чемпионскому составу, Ноа, Грин, Брюер, решили не оставаться в университете на последний год обучения и объявили о своём желании выступать в НБА. На драфте Хорфорд был выбран под третьим номером клубом «Атланта Хокс». Он сразу же стал игроком основного состава и провёл дебютный сезон на хорошем уровне — 77 матчей в стартовой пятёрке 10.1 очков и 9.7 подборов в среднем за игру, четыре раза признавался лучшим новичком месяца и финишировал вторым в опросе на звание новичка года, уступив Кевину Дюранту, единогласно был включён в первую сборную новичков. В плей-офф «Атланта» в упорной борьбе уступила будущим чемпионам «Бостон Селтикс» (3-4), Хорфорд хорошо проявил себя в серии: 12.6 очков, 10.4 подборов и 1 блок-шот в среднем за игру.