Йозеф Цемп был старшим из одиннадцати детей судьи. Он изучал право в Университете Рупрехта Карла в Гейдельберге и Университете Людвига Максимилиана в Мюнхене. После защиты диплома (1859) вернулся в Энтлебух и открыл там адвокатскую контору. Через год женился на Филомене Видмер. У них родилось 15 детей.
В 1863 году Цемп был избран в Большой совет Люцерна от Католической консервативной фракции и работал в нём до 1891 года. В июле 1871 года избран в сенат Швейцарии, но пробыл там всего полтора года. С декабря 1872 по октябрь 1876 года и с декабря 1881 по декабрь 1891 года Цемп был членом Национального совета, где был председателем Католической консервативной фракции и короткое время президентом совета.
17 июня 1908 года Йозеф Цемп вышел в отставку из-за ухудшения здоровья и умер через несколько месяцев.