На Играх 1904 в Сент-Луисе Фрейзер выступал за сборную Канады. Выиграв два матча, он занял первое место и выиграл золотую медаль.