Панчич родился в деревне Угрини (территория современной Хорватии) и был четвёртым ребенком в семье. Согласно преданию семья Панчичей происходила из Герцеговины. Родители Йосифа были бедными, но его дядя был в архидиаконом в городе Госпич и он взял на себя заботу об обучении Йосифа: в начальной школе Госпича, средней школе в Риеке. Из Риеки Йосиф в 1830 переехал в Загреб, где продолжил обучение. В 1842 закончил медицинский факультет в Пеште и стал доктором медицины.
Наиболее известным достижением Йосифа Панчича является открытие им редкого вида ели — Ели сербской (или Панчичевой ели).
В 1887 году вошёл в число первых 16 академиков и стал первым Президентом Сербской королевской академии.