Получил медицинское образование в Вюрцбурге, затем жил и работал во Франкфурте. В возрасте 31 года Альцгеймер стал руководителем исследовательского института, в котором проработал всю оставшуюся жизнь. В 1904—1915 годы опубликовал шеститомный труд «Гистологические и гистопатологические исследования серого вещества головного мозга».
Альцгеймер внёс значительный вклад в изучение патологии нервной системы. Увековечило его имя изучение сенильной деменции, известной как «болезнь Альцгеймера». Основываясь на результатах собственных фундаментальных исследований, он описал принципиальные различия между слабоумием сосудистого и нейродегенеративного генеза.
Коллега Альцгеймера, немецкий психиатр Эмиль Крепелин позднее назвал разновидность старческого слабоумия именем Альцгеймера.