Фрей родился в семье известного либерального политика Эмиля Ремигиуса Фрея. Он изучал сельскохозяйственные науки в Йенском университете. В декабре 1860 года переехал в США. В следующем году там вспыхнула гражданская война и Фрей вступил добровольцем в армию юнионистов. Во время битвы при Геттисберге он попал в плен к конфедератам, после чего провёл полтора года в Ричмонде в качестве военнопленного.
После гражданской войны, Фрей героем вернулся в Швейцарию и занялся политикой. С 1866 по 1872 год он был членом кантонального правительства Базель-Ланда. В 1870 году женился на Эмме Клосс (1848-1877), которая родила ему пятерых детей.
В 1872 году Фрей был избран в Национальный совет. С 1882 по 1888 год был первым послом Швейцарии в США. 11 декабря 1890 года он был избран членом Федерального совета Швейцарии и возглавлял в нём военный департамент.
11 марта 1897 года вышел в отставку. В тот же день был избран директором Международного телеграфного союза и был им до 1921 года.