Йенс Йеремис начал карьеру в молодёжной команде клуба «Мотор» из родного города Гёрлица. В 1986 году Йеремис перешёл в молодёжную команду клуба «Динамо» из Дрездена, в 1992 году он дебютировал во взрослой команде «Динамо». В 1995 году Йеремис перешёл в клуб «Мюнхен 1860», откуда через 3 сезона он перешёл в стан лидера немецкого футбола, клуб «Бавария», за который Йеремис уже выступал до конца своей карьеры, выиграв 6 чемпионатов Германии, 5 Кубков Германии и Лигу чемпионов.
В сборной Германии Йеремис дебютировал 15 ноября 1997 года в товарищеском матче со сборной ЮАР в Дюссельдорфе. Всего за национальную команду Йеремис провёл 55 матчей и забил 1 гол, приняв участие в двух чемпионатах мира и двух чемпионатах Европы.