Родился в семье управляющего поместьем Луиса Макензена и его жены Марии Луизы Макензен. Учился в реальной гимназии в Галле.
В 1869 году вступил вольноопределяющимся во 2-й лейб-гусарский полк. Участник франко-прусской войны 1870—1871 годов, был произведен в лейтенанты и награжден железным крестом второй степени.
С 1870 года в резерве, учился в университете Галле.
В 1873 году вернулся на службу во 2-й лейб-гусарский полк.
С 1880 года служил в Генштабе, с 1887 года командир эскадрона 9-го драгунского полка, с 1888 года — в штабе 4-й дивизии.
В 1891—1893 годах адъютант начальника Большого Генштаба генерала Альфреда фон Шлифена. С 1894 года командир 1-го лейб-гусарского полка, расквартированного в Данциге.
C 1898 года флигель-адъютант кайзера. С 1900 года командир 1-й лейб-гусарской бригады. С 1903 года генерал-адъютант и командир 36-й дивизии. С 1908 года командир XVII Армейского корпуса.
С началом первой мировой войны XVII корпус входил в состав 8-й немецкой армии под командованием Максимилиана фон Притвица, а затем Пауля фон Гинденбурга. Участвовал в Восточно-Прусской операции.
2 ноября 1914 года был назначен командующим сформированной на восточном фронте 9-й германской армией. Командовал армией в ходе Варшавско-Ивангородской операции и Лодзинская операция. 22 ноября награжден высшим военным орденом Pour le M?rite.
С 16 апреля по 15 сентября 1915 года — командующий 11-й армией, совершившей Горлицкий прорыв.
В октябре 1915 года Макензен, назначенный командующим группой армий (Heeresgruppe Mackensen) возглавил германские, австро-венгерские и болгарские войска, сосредоточенные против Сербии. Всего под его командованием было сосредоточено 14 германских и австро-венгерских (по Саве, Дунаю, Дрине) и 6 болгарских (по восточной границе Сербии) дивизий. 7 октября 1915 года Макензен начал форсирование Савы и Дуная на фронте Шабац — Рама. 9 октября войска Макензена взяли Белград. 10 ноября части 11-й армии взяли Ниш и соединились с 1-й болгарской армией. В результате проведенной операции к началу декабря вся территория Сербии была оккупирована.
В конце 1916 года под общим командованием Макензена были объединены германские, болгарские и турецкие войска, действовавшие против Румынии с южного направления.
Из Иллюстрированного журнала «Искры Воскресенье» от 10 июля 1916 года:
В результате наступления Макензена румынская армия была разгромлена, а большая часть Румынии оккупирована. Макензен был назначен командующим оккупационными войсками в Румынии. После перемирия в ноябре 1918 года был интернирован французами, у которых находился до декабря 1919 года.
В 1920 году вышел в отставку.
Участвовал в деятельности различных ветеранских организаций, поддерживал Пауля фон Гинденбурга на выборах 1932 года. Принимал участие в похоронах бывшего кайзера Германии Вильгельма II. Умер в 1945 году.