Иоганнес Семпер учился в учебных заведениях Санкт-Петербурга, Москвы, Риги, Берлина, Парижа (в 1910—1927 гг.). В 1917 году становится членом литературной группы Сиуру. В 1928 году поступает в Тартуский университет, по окончании пишет дипломную работу о творчестве Андре Жида.
В 1940 году, после создания Эстонской ССР, становится её министром просвещения. Иоганнес Семпер является автором стихотворной части гимна Эстонской ССР.