Учился, в числе прочих, у Йозефа Иоахима. С 1868 г. скрипач Датской Королевской капеллы, в 1895—1910 гг. концертмейстер. Как солист, в частности, в 1877 г. исполнил премьеру Концерта для скрипки с оркестром Эмиля Хартмана (младшего), для него и написанного. Многолетний преподаватель Копенгагенской консерватории, с 1915 г. возглавлял её. Среди учеников Свенсена — Эльсе Мария Брун.