Иосиф родился 26 июля 1678 года в Вене. Воспитывался под руководством герцога Дитриха Отто фон Сальма, изучил несколько языков. В 1687 году получил венгерскую корону, а после смерти отца 5 мая 1705 года вступил на престол и был коронован.
Энергично продолжил начатую его отцом войну за испанское наследство против Франции. Благодаря победам Евгения и английского военачальника герцога Мальборо ему удалось выгнать французов из Италии и Нидерландов и перейти к наступлению. Чтобы освободить себе руки для борьбы на Западе, Иосиф в 1707 году заключил договор с королем Карлом XII Шведским, который на пути из Польши в Саксонию прошёл через Силезию.
По Альтранштедтскому миру Иосиф дал силезским протестантам свободу вероисповедания и возвратил им большую часть отнятых иезуитами церквей. В то же время он вынудил папу признать его брата Карла испанским королём. В 1708 он объявил опалу на курфюрстов баварского и кельнского, за отношения с Францией, но его желание соединить Баварию с Австрией встретило сильное противодействие как немецких, так и иных государств.
Венгерское восстание Ференца Ракоци Иосиф успешно подавил. Он был образованным и умным правителем, терпимым к иноверцам, один из наиболее энергичных среди немецких Габсбургов. При нём Австрия достигла большого значения в Европе. Финансовое управление он улучшил при помощи Гундакера фон Штаремберга; им также приняты были меры для облегчения положения крепостных крестьян.
Иосиф скончался от оспы 17 апреля 1711 года в Вене.
В 1699 году он женился на Вильгельмине Амалии Брауншвейг-Люнебургской (1673—1742). У них родилось две дочери: