С 1948 по 1965 год Шефер выступал за футбольный клуб «Кёльн». Амплуа Шефера — левый крайний нападающий.
Дебютировал в составе сборной ФРГ 9 ноября 1952 года в международной товарищеской встрече со сборной командой Швейцарии, забив гол. Во время чемпионата мира 1954 года Шефер забил четыре гола, и в течение турнира был одним из лучших форвардов ФРГ. Чемпион мира 1954 года.
Провёл в составе сборной 39 игр, забил 15 голов. Шефер выступал на трёх чемпионатах мира — помимо 1954, также играл на мундиалях в 1958 (4-е место) и 1962 годах. Забил на чемпионатах мира в общей сложности 7 голов. С 1957 по 1962 год провёл 16 игр в качестве капитана сборной ФРГ.
В последние игровые годы Шефер переквалифицировался в оттянутого левого форварда.