Начал играть в футбол в возрасте восьми лет, играя на всех позициях, включая вратаря. Профессиональная карьера началась в 16 лет в клубе «Штутгартер Кикерс», который в то время выступал во втором дивизионе. В 1984 году он присоединился к более сильному клубу Штутгарт, постоянному члену первого дивизиона.
Кроме выступлений за «Штутгарт» и мюнхенскую «Баварию», Клинсман играл во многих клубах по всей Европе — «Монако» в Монако, «Интере» и «Сампдории» в Италии, и дважды в клубе «Тоттенхэм Хотспур» в Англии.
У Клинсмана была плодотворная международная карьера, начавшаяся с выступления за сборную Германии в 1987 году и закончившаяся 108-ю матчами, в которых он забил 47 голов. Он участвовал в:
Ушёл из сборной после чемпионата мира 1998 года.
Клинсман — первый игрок, забивший хотя бы по 3 мяча в каждом из трёх чемпионатов мира.
26 июля 2004 года он стал тренером сборной Германии, сменив на этом посту Руди Фёллера, с которым он вместе играл в сборной.
12 июля 2006 года Клинсман официально заявил, что прекращает тренировать сборную Германии. Его место занял Йоахим Лёв.
11 января 2008 года «Бавария Мюнхен» объявила, что с 1 июля 2008 года Клинсман станет главным тренером этого клуба.
27 апреля 2009 года смещён с занимаемой должности. Игрок «Баварии», Филипп Лам, позже написал в автобиографической книге: «Назначение Клинсманна главным тренером „Баварии“ можно охарактеризовать как провальный эксперимент. На тренировках он уделял внимание исключительно физической подготовке игроков, а о тактической составляющей даже и речи не шло. Уже через восемь недель после начала совместной работы мы поняли, что с этим тренером у нас ничего не выйдет».
3 ноября 2010 года Клинсман был официально назначен на должность консультанта клуба MLS «Торонто».
29 июля 2011 года назначен главным тренером сборной США. Сменил на этом посту Боба Брэдли. 10 августа 2011 года дебютировал на посту тренера американской сборной в товарищеском матче против сборной Мексики в Филадельфии.