Эрдем начал профессиональную карьеру в скромном клубе «Зейтинбурнуспор» из рабочего пригорода Стамбула. После вылета «Зейтинбурнуспора» из первой лиги в 1991 году Ариф перешёл в «Галатасарай», один из сильней клубов Турции. В «Галатасарае» Эрдем долгое время играть роль оттянутого нападающего, помогая в атаке Хакану Шукюру. С 1994 года Ариф стал играть за национальную сборную Турции. После успешного сезона 1999/2000, в котором «Галатасарай» выиграл Кубок УЕФА, Эрдем перешёл в испанский клуб «Реал Сосьедад». Однако в Испании он не сумел заиграть и, проведя всего два матча и забив один гол в чемпионате Испании, уже в ноябре 2000 года вернулся в «Галатасарай». В сезоне 2001/2002 Ариф, играя в нападении без Шукюра, забил 21 гол в чемпионате Турции и разделил звание лучшего бомбардира с Ильханом Мансызом.
В сентябре 2005 года 33-летний Эрдем объявил о завершении своей игровой карьеры после 14 лет, проведённых в «Галатасарае». В 2006 году бывший тренер второй команды «Галатасарая», Абдулла Авчи, возглавив «Истамбул ББ» пригласил Арифа на должность своего помощника.