В детстве переехал с родителями в Лондон. Шахматные успехи пришли к нему в 80-е годы. Успехи в турнирах и матчах дали Гунсбергу право претендовать на мировое первенство, но матч Вильгельму Стейницу (1890–1891) он проиграл. Всего за время с 1883 по 1914 Гунсберг сыграл в 28 турнирах, из них в 7 одержал победу. Из 8 матчей выиграл 5.
Занимался журналистикой, вёл шахматный отдел в лондонских газетах. После прекращения выступлений в соревнованиях жил в бедности.