Родился в еврейской семье из Эльзаса. Окончил Высшую нормальную школу. Был учеником Ж.Адамара и Э.Пикара. Там он с А.Картаном, К.Шевалле, Ж.Дьёдонне и некоторыми другими организовал группу, которая позднее стала знаменитой под именем Николя Бурбаки. Во время Второй мировой войны эмигрирует в США, где работает в Чикагском университете и Институте перспективных исследований в Принстоне.
Лауреат премии Вольфа за 1979.
Наиболее известными его учениками были П.Картье и П.Свиннертон-Дайер.
Его сестра Симона Вейль была известным философом. Родственником другого знаменитого математика, Германа Вейля, А.Вейль не является, хотя и написал о его творчестве вместе с К. Шевалле статью.