Леопольд III был сыном австрийского маркграфа Леопольда II и Иды Форнбах-Рательнбергской.
Леопольд III заложил основы будущего влияния Австрии. В 1104 г. он поддержал восстание принца Генриха против его отца императора Генриха IV, чем обеспечил себе благосклонность принца, ставшего в 1105 г. новым императором Священной Римской империи. Генрих V отдал в жены Леопольду III свою сестру, что резко повысило авторитет Австрии в империи. Особенностью государственной политики Леопольда III было поддержание мирных и дружественных отношений со всеми соседями, императором и папой римским. В 1125 г. его кандидатура даже была выдвинута на выборах императора, однако Леопольд III взял самоотвод. При нём Австрия сильно укрепилась и расширила свою независимость в рамках Германии.
Леопольд III очень активно поддерживал церковь и основал в Австрии несколько важных монастырей: Клостернойбург (1108) (по преданию, место для его основания указала маркграфу сама Дева Мария), Хайлигенкройц (аббатство) (1133) и Клайнмариацель (1134). Эта его деятельность послужила поводом к канонизации Леопольда III в 1485 г. А в 1663 г. он был объявлен святым-покровителем Австрии. День его памяти (15 ноября) является официальным праздником в Вене, Нижней и Верхней Австрии.