Ханс Сарпей родился в Гане, но в детстве вместе с родителями переехал в Германию, в город Кёльн. Там он начал заниматься футболом, играя в таких детских командах как «Корвайлер», «Виктория» и «Винфридия Мюльхайм». В 1998 году попал в команду второй немецкой бундеслиги «Фортуну». Проведя два года во втром по значимости дивизионе страны, Ханс подписал контракт с клубом «Дуйсбург» из одноимённого города, игравшем в тот сезон всё в той же второй бундеслиге.
После того сезона Ханс привлёк внимание селекционеров известных немецких команд и в скором времени подписал контракт с «Вольфсбургом», за который впоследствии провёл шесть сезонов, сыграл 139 матчей и забил три мяча.
В течение сезона 2006/07 главный тренер «Вольфсбурга» Клаус Аугенталер решил не продлевать контракт с центральным защитником. 18 мая 2007 года Ханс Сарпей, будучи свободным агентом, подписал двухлетний контракт с леверкузенским «Байером».
26 августа 2010 года Сарпей подписал контракт с «Шальке 04» сроком на 2 года.
Дебютировал в сборной в 2005 году. Принимал участие в чемпионатах мира 2006 и 2010 годов.
Обладатель бронзовой медали Кубка африканских наций 2008 года и серебряной медали Кубка африканских наций 2010 года.
Имеет брата Эдварда, бывшего ирока «Кёльна», ныне выступающего за «Ворринген».