Первый свой матч за «Сандерленд» Гиллеспи провёл 15 сентября 1890 года против клуба «Вулверхэмптон Уондерерс» (проиграли дома 3:4) и сразу же забил первый гол. Однако, сыграв ещё одну игру (18 октября 1890 года с «Аккрингтоном»), Джеймс покидает «Сандерленд» и переходит в «Сандерленд Альбион», выступавший в Футбольном альянсе. После расформирования «Альбиона» Гиллеспи возвращается в «Сандерленд», за который выступает до 1897 года, проведя во всех соревнованиях ещё 146 игр (51 гол, из них 11 дублей).
За сборную Джеймс сыграл всего один матч: 19 марта 1898 года Шотландия обыграла Уэльс 5:2 (Гиллеспи сделал хет-трик).
Чемпион Англии (2) — 1893, 1895