Родился 3 ноября 1908 года в Неаполе. Его отец был одним из основателей Христианско-демократической партии в его родном городе, в которую позже вступил и Леоне, став сторонником её правого крыла.
В 1929 году он получил юридическое образовании, а к 1946 году уже добился больших высот в правительстве, став одним из членом Учредительного собрания Италии. В 1948 году Леоне был избран в Палату депутатов, которую возглавил в 1955 году. На этом посту Джованни Леоне оставался до 1963 года, пока не был избран премьер-министром Италии. Всё же столь высокую должность он занимал недолго, покинув кресло премьера через чуть более чем два месяца.
После нескольких попыток занять пост президента республики, Леоне был избран в 1967 году пожизненным сенатором. В том же году он вновь возглавил Совет министров, но вновь его срок оказался недолгим — около полугода. В 1971 году Леоне удалось добиться новых высот, заменив на посту президента Италии Джузеппе Сарагата, получив 518 из 996 голосов.
В ноябре 1975 года посетил с официальным визитом СССР.
Будучи президентом Итальянской Республики, Джованни Леоне оказался вовлечён в скандал, когда посещая Неаполь во время эпидемии холеры, пожал руку одному из больных, а другой рукой за спиной показал «рожки». Этот жест, запечатлённый фотографами на плёнку, был истолкован как оскорбление больных, и долгое время освещался в СМИ.
Но это происшествие оказалось не таким громким, как скандал, разгоревшийся в 1978 году, когда американская компания «Lockheed Corporation» подкупили Христианско-демократическую партию Италии и тогдашнее высшее руководство страны, в том числе премьера и президента, с целью покупки итальянскими ВВС самолётов C-130 Hercules. В итоге эта махинация была раскрыта, и 15 июня 1978 года Джованни Леоне был вынужден уйти в отставку с поста Президента Итальянской Республики.
С 15 июня 1978 года — пожизненный сенатор.
Скончался 9 ноября 2001 года в Риме в возрасте 93 лет.