Родился в семье железнодорожного магната Эдварда Генри Гарримана и Мэри Вильямсон Аверелл. Учился в школе Groton School в Массачусетсе, а затем в Йельском университете где вступил в закрытое общество «Череп и кости». В 1909 вместе с братом получил огромное наследство. В 1911 братья Гарриманы основали банкирский дом Harriman Brothers & С, получивший в 1931 после объединения с другим крупным нью-йоркским банком наименование Braun Brothers & Harriman & С. В 1918—1927 председатель Совета директоров Union Pacific Railroad. Политическую деятельность Гарриман начал в 1920-х в Республиканской партии, но в 1928 перешел в Демократическую партию. Длительное время был советником президента США Рузвельта по финансовым и промышленным делам. 1925—1928 был одним из владельцев марганцевой концессии в Грузии. В 1937—1939 — председатель Совещательного комитета предпринимателей при Департаменте коммерции США.
В марте 1941 в Лондоне участвовал в переговорах по ленд-лизу. В сентябре 1941 в ранге посла возглавлял делегацию США на Московском совещании СССР, США и Британской империи. В 1941—1943 — специальный представитель президента США в Великобритании и СССР. Отвечал за межсоюзническое взаимодействие по Ленд-лизу. В 1943—1946 годах — посол США в СССР, в течение этого периода часто встречался со Сталиным.
В 1946 году посол США в Великобритании. Видный советский дипломат О. А. Трояновский вспоминал, что в 1947 году Сталин заметил о Гарримане, что «этот человек несёт свою долю ответственности за ухудшение наших отношений после смерти Рузвельта» . В 1948—1950 координатор плана Маршалла. В 1950—1951 специальный помощник президента Трумэна по внешнеполитическим вопросам, посредник между Персией и Британской империей по вопросу национализации Англо-иранской нефтяной компании (впоследствии British Petroleum). В 1954—1958 губернатор штата Нью-Йорк. В 1961 и в 1965—1969 — посол по особым поручениям, в 1963—1965 — заместитель государственного секретаря США по дальневосточным делам. С мая 1968 по январь 1969 возглавлял делегацию США на мирных переговорах с представителями Северного Вьетнама в Париже.
Женился на Китти Ланье Лоуренс, с которой развелся в 1936. Впоследствии он женился на Мэри Нортон Уитни, которая оставила своего мужа Корнелиуса Вандербильда Уитни, чтобы выйти замуж за Гарримана. Они оставались в браке до её смерти 1970. Третьей и последней женой Гарримана в 1971 стала Памела Берил Дигби Черчилль Хэйвард, бывшая жена сына Уинстона Черчилля Рэндольфа, и вдова бродвейского продюсера Лиланда Хэйварда. Умер в 1986 году.