Родился в семье герцога Тосканского Фердинанда IV. Был 2-м сыном и 4-м ребёнком в семье. После нескольких скандалов его старший брат эрцгерцог Леопольд-Фердинанд был исключён из состава фамилии Габсбургов и принял имя Леопольда Вёльфинга. Иосиф Фердинанд стал наследником, а затем и главой тосканской ветви Габсбургов.
Учился в военном реальном училище. В 1892 году окончил Терезианскую военную академию. Был выпущен в Тирольский стрелковый полк. Служил в 93-м, 17-м, 59-м пехотном и 4-м Тирольском егерском полках. В 1905—1908 годах командир 93-го пехотного полка, с октября 1908 года — 5-й пехотной бригады, с января 1911 года — 3-й пехотной дивизии в Линце.
Увлекался охотой и воздухоплаванием, совершил несколько путешествий на воздушном шаре. В 1909 году он преодолел расстояние от своей резиденции в Линце до французского города Дьепп за 16 часов.
С началом войны назначен командиром XIV армейского корпуса входившего в состав 3-й армии генерала Р. Брудермана. Участвовал с ним в Галицийской битве. 30 сентября 1914 года назначен командующим 4-й армией после смещения с поста командующего Ауффенберга.
В 1915 году командовал армией в зимнем сражении в карпатах и общем летнем наступлении германо-австрийских войск после Горлицкого прорыва. В 1916 году получил чин генерал-полковника.
Летом 1916 года разбит русской 8-й армией генерала Каледина во время Брусиловского наступления и отступил за реку Стырь. После этого снят с поста командующего армией «по состоянию здоровья». Передал армию генералу К. Терстянскому фон Надас.
После вступления на престол императора Карла I был назначен генерал-инспектором ВВС. В 1918 году вышел в отставку.
После распада Австро-Венгерской империи жил в Австрии как обычный гражданин, так как, в отличие от других Габсбургов, отказался от каких-либо политических и имущественных претензий. 2 мая 1921 года женился на Розе Кальтенбрунер. После смерти первой жены в 1928 году, 27 января 1929 года женился на Гертруде Томанек фон Бейерфельс-Мондзее, от которой у него было двое детей, Клавдия и Максимилиан.
После аншлюса Австрии гитлеровской Германией был арестован. Сначала жил под домашним арестом, но затем отправлен в концлагерь Дахау. Находился там несколько месяцев, после чего был освобождён благодаря заступничеству Германа Геринга, с которым познакомился во время Первой мировой войны. Умер 25 августа 1942 года в Вене.