Этнический таджик, уроженец провинции Парван. Окончил начальную и среднюю школы, учился на теологическом факультете Кабульского университета (не окончил). С 1977 года в эмиграции в Пакистане, в 1978 году вернулся в Афганистан и присоединился к оппозиции. В Афганской войне воевал в отрядах Ахмад Шах Масуда. После прихода оппозиции к власти в 1992 году назначен главой Службы государственной безопасности в переходном правительстве Себгатуллы Моджаддеди. С 1994 года - министр безопасности в правительстве Бурхануддина Раббани. После захвата Кабула талибами вместе с Раббани покинул город и находился на севере Афганистана, активный участник боевых действий против талибов. Пережил несколько покушений.
После гибели Ахмад Шах Масуда возглавил Северный Альянс и стал его министром обороны. Фактически руководил боевыми действиями Северного Альянса в 2001 году, которые завершились изгнанием талибов из Кабула. 13 сентября 2001 Фахим был официально представлен в Душанбе официальным лицам Ирана, России, Индии, Таджикистана, Узбекистана, срочно собравшимся на совещание по поводу обстановки в Афганистане. Сохранил пост министра обороны в правительстве Хамида Карзая. После переизбрания Карзая Фахим не смог войти в новый кабинет и покинул пост министра обороны в декабре 2004 года.
В 2003 году Фахим с официальным визитом посетил Россию, где встретился со своим коллегой Сергеем Ивановым
С 2004 года - советник президента Х. Карзая. С ноября 2009 года - первый вице-премьер Афганистана. Неофициально считается одним из лидеров этнических таджиков в Афганистане.