В 1952 году Рау стал членом Общегерманской народной партии (Gesamtdeutsche Volkspartei, GVP) — одним из основателей которой был бывший Федеральный министр внутренних дел Густав Хайнеманн — и заодно стал её районным председателем в Вуппертале. В 1957 партия распустилась и Рау стал членом Социал-демократической партии Германии. В 1958 году был избран в парламент земли Северный Рейн — Вестфалия, в котором он состоял до 1999. С сентября 1978 года — премьер-министр земли Северный Рейн — Вестфалия, член президиума СДПГ. В 1968 году Рау был избран в Федеральный президиум СДПГ. В 1987 году был избран в бундестаг, но от мандата отказался. В 1994 году занял второе место на выборах президента.