Родился в городе Тампа, Флорида. В марте 1949 года поступил на службу в ВВС США и был направлен в школу подготовки лётчиков. После окончания тренировок в марте 1950 получил звание пилота и чин младшего лейтенанта. Дальнейшую службу нёс на авиабазе Рамштайн в составе 86-го истребительно-бомбардировочного крыла. В 1953 был переведён на авиабазу Холломан в Нью-Мексико, где служил офицером по безопасности полётов, был инструктором по выживанию и методам катапультирования.
Проект задумывался для изучения прыжков с парашютом с большой высоты, предполагалось совершить всего три прыжка, которые должны были совершаться со стратостатов. В то время капитан Киттингер был приписан к Аэромедицинской лаборатории на базе ВВС Райт-Паттерсон. Проект назван так в честь Эксельсиора, алмаза найденного на территории современной ЮАР.
Первый прыжок был совершён с высоты 23 300 метров 16 ноября 1959 года. Из-за неполадок стабилизирующий парашют не раскрылся, и Киттингер попал в штопор. Его тело вращалось со скоростью 120 оборотов в минуту, перегрузки составляли 22g, и Джозеф потерял сознание. Парашют открылся с помощью прибора автоматического раскрытия парашюта. 11 декабря он прыгнул снова, уже с высоты 22 760 метров, за что был награждён «Парашютной медалью Лео Стивенса».
16 августа 1960 состоялся последний прыжок в рамках проекта «Эксельсиор» с высоты 31 300 метров. Раскрыв тормозной парашют для стабилизации, Джозеф Киттингер падал 4 минуты и 36 секунд, достигнув скорости 988 км/ч (или 274 м/с) до открытия основного парашюта на высоте 5500 метров. Герметичность правой перчатки была нарушена, и его рука увеличилась в размерах в два раза. Этот прыжок получил несколько рекордов: самый высокий прыжок со стратостата, самый высокий прыжок с парашютом, наиболее долгое падение с тормозным парашютом и наибольшая скорость, достигнутая при падении. Все эти рекорды зарегистрированы ВВС США, ФАИ их не признаёт, из-за использования стабилизирующего парашюта во время прыжка.
Вернувшись на авиабазу Холломан, Киттингер принял участие в проекте «Старгейзер» 13-14 декабря 1962 года. Он и астроном Уильям С. Уайт поднялись на стратостате на высоту 25 050 метров, где провели более 15 часов за астрономическими наблюдениями.
Впоследствии Киттингер служил во Вьетнаме, совершив 483 боевых вылета. Первоначально совершал полёты на Douglas A-26 Invader и модифицированном Martin B-26 Marauder, затем пересел на McDonnell Douglas F-4 Phantom II и стал командиром 555-й тактической истребительной эскадрильи. Также был командиром 432-го тактического разведывательного авиакрыла.
Киттингер был сбит 11 мая 1972 года во время полёта на F-4D вместе с Уильямом Дж. Рейчем северо-западнее деревни[нет в источнике] Тай Нгуен в Северном Вьетнаме. «Фантом» был сбит самолётом МиГ-21, после катапультирования Киттингер и Рейч были схвачены и помещены в тюрьму «Ханой Хилтон». Там они провели 11 месяцев. Во время нахождения в плену Киттингер подвергался пыткам.
Сейчас полковник проживает в Орландо, штат Флорида