Родился в Мёдоне, около Парижа. Служил в армии, после чего в 1963 году поступил в Государственную школу управления. Также окончил Институт политических наук.
В молодости был троцкистом, что впоследствии скрывал. Был близким сотрудником Франсуа Миттерана, а в 1981 году, после избрания его президентом республики, стал председателем Французской социалистической партии. Занимал различные министерские посты. В 1995 году выдвинут партией на президентских выборах как смена уходившему с должности Миттерану, после первого тура занимал первое место, однако во втором туре потерпел поражение от Жака Ширака, который и стал новым президентом. В 1997 году социалисты победили на досрочных парламентских выборах, и Ширак поручил своему оппоненту сформировать правительство как премьер-министру. На этом посту Жоспен находился без малого пять лет.
В 2002 году премьер Жоспен вновь выставил свою кандидатуру в президенты, однако потерпел новое, гораздо более позорное и сенсационное поражение: не смог выйти во второй тур и пропустил на второе место ультранационалиста Жан-Мари Ле Пена, которого Ширак затем победил с огромным перевесом. После этого Жоспен ушёл не только с поста премьер-министра и председателя партии, но и вообще из политики (в 2005 году ненадолго вернулся к публичным заявлениям, агитируя за проект европейской конституции, впрочем, вновь безуспешно). Вся власть в государстве оказалась у широкой коалиции сторонников Ширака, так называемой UMP, или Союза за президентское большинство: её представляли оба последующих премьера, Раффарен и де Вильпен.
Социалисты с того времени пребывали в состоянии глубокого кризиса, из которого начали выходить только в 2006 году после массовых антиправительственных выступлений молодёжи против закона о «контракте первого найма». В это время вновь начались разговоры о возможных президентских амбициях Жоспена: несмотря на то, что он в октябре 2006 г. резко отрицательно высказался против президентских амбиций более популярной у социалистов Сеголен Руаяль, партия всё же 16 ноября выдвинула кандидатом в президенты на выборах-2007 именно её.
Окончив Государственную школу управления, поступил на работу в экономический отдел Министерствва иностранных дел.