Отец Альберто — выходец из Ямайки, этим обусловлена его английская фамилия, мать — эквадорка.
Спенсер начал свою карьеру в 1953 году в клубе «Эверест» из Гуаякиля. Спустя 2 года он уже пробился в основной состав команды. В 1959 году он получает приглашение в сборную Эквадора, в которой выступал до самого завершения карьеры, с перерывом в 1962—1964 годах, когда он выступал за сборную Уругвая. Спенсер стал автором первого мяча как эквадорского, так и уругвайского футболиста, забитого на стадионе «Уэмбли» в товарищеском матче Уругвая с Англией. Однако правила, регулирующие национальную принадлежность в футболе, ужесточились и Спенсер был вынужден вновь выступать за Эквадор. Поскольку уровень футбола в этой стране в 1960-х годы (в отличие от современной ситуации, когда сборная Эквадора вышла в 1/8 финала ЧМ-2006, что ещё застал сам Спенсер, а ЛДУ Кито выиграл Кубок Либертадорес в 2008 году) был одним из самых низких в Южной Америке, эквадорский самородок так и ни разу не сыграл на чемпионатах мира.
Всего за карьеру Спенсер забил 451 гол (без учёта товарищеских матчей, вместе с которыми число его голов превышает 500).
В 1975—1976 годах Спенсер тренировал эквадорский «Эмелек».
В 1982 году Альберто Спенсер был назначен консулом Эквадора в Уругвае, в котором остался жить.
Огромное негодование вызвало отсутствие Спенсера в списке ФИФА-100, опубликованном Пеле и ФИФА. Южноамериканские журналисты припоминали матч 1963 года, в котором «Пеньяроль» разгромил «Сантос» со счётом 5:0 и 3 мяча в ворота бразильцев отправил Спенсер.
Умер Альберто Спенсер 3 ноября 2006 года в Кливленде, во время плановой поездки в США для обследования в кардио-клинике — от сердечного приступа.
Стадиону в Гуаякиле «Модело» было дано имя Альберто Спенсера.