На Играх 1908 Фостер участвовал в трёх дисциплинах. Он стал чемпионом вместе со своей сборной в эстафете 4?200 метров вольным стилем, занял четвёртое место на дистанции 400 метров тем же стилем и остановился на полуфинале на 1500 метров.
На следующих Играх 1912 Фостер участвовал в таких же дисциплинах, но стал бронзовым призёром в эстафете и полуфиналистом в других двух соревнованиях.