Его музыкальная карьера началась когда он принимал участие в таких гуппах как Lyijykomppania, Stray Toasters и Nattvindens Gr?t вместе с Туомасом Холопайненом и Сами Вянскя в середине 90-х годов.
Он принял участие в записи альбома группы Nightwish Oceanborn, вышедшего в 1998 году. Его вокал звучит в композициях «Devil and the Deep Dark Ocean», «The Pharaoh Sails to Orion» и «Moondance». Кроме этого он участвовал в записи композиции «10th Man Down», DVD «From Wishes to Eternity» и «End of Innocence».
В 2003 году Вильска присоединился к фолк-викинг-метал группе Finntroll. В составе группы он записал два альбома: экспериментальный Visor om Slutet и наиболее известный Nattf?dd. Тапио также снялся в видеоклипе на песню Trollhamaren. Однако в 2006 году группа отказалась от услуг Тапио по личным мотивам, которые ни музыканты, ни Вильска не пожелали обнародовать.
Также принял участие в записи ряда альбомов группы Timo Rautiainen & Trio Niskalaukaus.