Родился в Карлсруэ в семье прусского генерала.
Во время Второй мировой войны командовал 6-й армией вермахта. Брал Париж (1940), Киев (1941) и Харьков (1941). Один из немногих высших военачальников вермахта, активно поддерживавших нацизм.
Семья Рейхенау была очень зажиточной и имела дворянское происхождение. В девятнадцатом и первой половине двадцатого столетия семье фон Рейхенау принадлежала одна из крупнейших мебельных фабрик в Германии. В 1938 году они передали её нацистам, которые наладили на фабрике выпуск военного снаряжения. Когда в ходе налётов союзников в 1945 году фабрика, расположенная под Карлсруэ, была уничтожена, исчезли последние остатки богатства и влияния семьи.
Поступил на военную службу в 1903 фанен-юнкером (кандидат в офицеры) в 1-й гвардейский полк полевой артиллерии. В августе 1904 произведён в лейтенанты. Учился в военной академии, с августа 1912 — обер-лейтенант.
В течение Первой мировой войны воевал на Западном фронте. В начале войны — в должности полкового адъютанта 1-го гвардейского полка полевой артиллерии. С ноября 1914 года — капитан. С 1915 года — заместитель начальника штаба 47-й резервной пехотной дивизии. Был награждён Железным крестом первой и второй степени и ещё четырьмя орденами.
Продолжил службу в рейхсвере. С июля 1923 — майор, с февраля 1932 — полковник.
В 1933 - 1935 был начальником одного из управлений военного министерства.
С февраля 1934 — генерал-майор, с октября 1935 — генерал-лейтенант, командующий 7-м военным округом (Мюнхен), в октябре 1936 — произведён в звание генерала артиллерии.
С февраля 1938 фон Рейхенау — командующий 4-й группой войск (Лейпциг), оккупировавшей Судетскую область (октябрь 1938), затем Чехию и Моравию (март 1939).
Стоял у истоков образования вермахта. Принимал участие в секретной программе возрождения немецкой армии и бывал в СССР вместе с фон Бломбергом. Рейхенау вошел в историю третьего рейха благодаря тому, что составил текст присяги на верность новому рейхсканцлеру. Перевел на немецкий язык труды британского эксперта по танкам Лиддел Гарта и всячески способствовал развитию нового рода войск в Германии.
С начала войны командовал 10-й армией. За Польскую кампанию награждён Рыцарским крестом, произведён в генерал-полковники.
С октября 1939 года — командующий 6-й армией. В Западной кампании армия Рейхенау заняла Бельгию, в июле 1940 он был произведён в генерал-фельдмаршалы.
С июня 1941 — кампания против СССР — Киев, Харьков, Белгород. 10 октября 1941 издает печально известный приказ «О поведении войск в восточном пространстве» 1 декабря 1941 Рейхенау назначен командующим группой армий «Юг» вместо фон Рунштедта. 15 января 1942 у Рейхенау произошло кровоизлияние в мозг, и 17 января он умер от остановки сердца и/или от полученной им черепно-мозговой травмы во время авиаперелёта из Полтавы в Германию (при промежуточной посадке в г. Львове самолет потерпел авиакатастрофу).