Вступил в ряды Вермахта 1 апреля 1935 года, подписав контракт на 12 лет службы. 1 мая этого же года выбран в состав гимнастической сборной Германии для участия в Олимпийских играх 1936 года. На Олимпийских играх выигрывал три золотые и две бронзовые награды, став олимпийским чемпионом в абсолютном первенстве, в составе сборной Германии в командных соревнованиях, а также в опорном прыжке. После завершения Игр работал инструктором в спортивной школе.
В 1939 году переводится в парашютные войска, в 1940 году получает звание старшего лейтенанта. 10 мая 1940 года в составе парашютного подразделения (нем. 8./Fallschirmj?ger-Regiment 1) высаживается в Голландии и принимает участие в жесточайших боях за побережье. Тяжело раненый в лёгкое, обнаружен голландскими солдатами в районе города Дордрехта. Сохраняет жизнь благодарю голландскому конькобежцу Симону Хейдену (участник зимних Олимпийских игр 1928 года, рекордсмен мира), который узнает в раненом офицере трёхкратного Олимпийского чемпиона. 29 мая 1940 года Альфред Шварцман получает Рыцарский крест Железного креста.
Позже принимает участие в Критской операции, в 1942 году получает звание Капитана. В период с 1941 по 1942 год воюет на Восточном фронте на территории СССР. 15 марта 1943 года возглавляет 7-ю авиационную дивизию, позже Первую парашютную дивизию. К концу войны ложится в госпиталь по причине рецидива полученного ранения. 20 апреля 1945 года получает звание майора. 9 мая 1945 года пленён британцами, освобожден из плена 29 октября 1945 года.
Продолжал тренировки и в 1952 году в 40-летнем возрасте выигрывал серебряную олимпийскую награду на Играх в Хельсинки. По завершении спортивной карьеры работал преподавателем. Скончался в марте 2000 года.