На Играх 1904 в Сент-Луисе Шварц участвовал только в эстафете 4х50 ярдов вольным стилем. Вместе со своей командой он занял третье место и выиграл бронзовую медаль.