Александр Клюге родился в семье доктора медицины Эрнста Клюге и его жены Алисы, урождённой Хаусдорф. До конца войны посещает гимназию в Хальберштадте. В 13 лет становится свидетелем крупной бомбардировки родного города. С 1946 года посещает гимназию в Шарлоттенбурге, Берлин. Затем изучает юриспруденцию, историю и церковную музыку во Фрайбурге, Марбурге и Франкфурте-на-Майне, где он, в частности, посещает семинары Теодора В. Адорно. В 1956 году защищает диссертацию на тему самоуправления в университетах, вместе с Гельмутом Бекером пишет книгу «Культурная политика и контроль за расходами». В последующие годы наряду со съёмками фильмов публикует ряд научных книг, таких как «Общественность и опыт» (1972, вместе с Оскаром Негтом), «Экономика кино в ФРГ и Европе» (1973, вместе с Флорианом Хорфом и Михаэлем Достом), «Критическая теория и марксизм» (1974, вместе с Негтом) и другие.
С 1958 года волонтёр на студии Артура Браунера «ССС-Фильм» в Западном Берлине, в том числе, во время съёмок фильма Фрица Ланга «Индийская гробница». В это время пишет рассказы и наброски сценариев. За свой первый короткометражный фильм «Брутальность в камне» (1960, вместе с Петером Шамони) на Международном кинофестивале короткометражных фильмов в Оберхаузене получает один из главных призов. В 1962 году становится одним из инициаторов «Оберхаузенского манифеста», в котором 26 молодых режиссёров заявляют о смерти реставративного кино 1950-х и о намерении противопоставить ему свои фильмы. В последующие годы при государственной поддержке возникают первые работы «Молодого немецкого кино». Клюге, Эдгара Райца и Деттена Шляйермахера назначают руководителями «киноинститута» в Ульме. Главная цель школы, основанной по инициативе оберхаузенской группы, состоит в создании теоретического центра кино.
В 1963 году Клюге учреждает собственную производственную фирму. С 1967 года (фильмы «Прощание с прошлым», «Артисты под куполом цирка: беспомощны») он занимает позицию признанного аутсайдера.
С конца 70-х инициатор коллективных фильмов «Германия осенью» (1977), «Кандидат» (1980) и «Война и мир» (1982), посвященных актуальным политическим событиям. Выступает за сближение кино и телевидения и снимает свои последние крупные работы — фильмы-эссе «Власть чувств» (1983) и «Наступление настоящего на остальное время» (1985).
В 1987 году основывает dctp (Development Company for Television Program), ставшую платформой для независимых программ на частном немецком телевидении. Компаньоны dctp — Александр Клюге (37,5%), японское рекламное агентство Dentsu (37,5%), издательство Spiegel (12,5%) и Neue Z?rcher Zeitung AG (12,5%). Сам Клюге является управляющим компании, а также автором независимых передач-интервью, посвященных культуре.
В 2008 году удостоен почетного Немецкого киноприза «Лола» за совокупность творчества, а в 2010 — приза имени Адольфа Гримме.
Александр Клюге женат, имеет двух детей, живёт в Мюнхене.