Карьеру футболиста Осим начал в клубе «Железничар», непродолжительное время поиграл в чемпионате Нидерландов в клубе «ПЕК», а в 1970 году, в возрасте 29 лет, перебрался во Францию, где играл до окончания своей карьеры. В чемпионате Франции Осим провёл 8 лет, выступая за клубы «Страсбур», «Седан» и «Валансьен».
В составе национальной команды Ивица Осим провёл 16 матчей, в которых забил 8 мячей. Был в составе сборной на Олимпиаде-1964 и чемпионате Европы-1968.
После завершения карьеры футболиста Осим становится тренером. Вернувшись в Югославию он становится главным тренером родного для себя клуба «Железничар», затем он возглавлял сборную Югославии и клуб «Партизан». В 1992 году началась международная тренерская карьера Осима, в разные годы он возглавлял: греческий «Панатинаикос», австрийский «Штурм», японский «ДЖЕФ Юнайтед» и сборную Японии.