Родился в городе Клинтон в штате Нью-Йорк в семье Орена Рута и Нэнси Уитни Баттрик. Отец был профессором математики в гамильтоновском колледже, который в 1864 окончил с отличием и Элиу Рут. В 1867 окончил юридическую школу Университета Нью-Йорка. Занимался юридической практикой.
В 1878 году Рут женился на Кларе Фрэнсис Уэйлс, дочери редактора журнала Scientific American.
В 1883—1885 занимал пост прокурора южного округа Нью-Йорка.
В 1899—1904 занимал пост военного министра США при президентах Маккинли и Рузвельте. На посту министра обороны основал Военный колледж, расширил Военную академию в Вест-Пойнте и усилил федеральный контроль над Национальной гвардией.
В 1905 году, после смерти Джона Хэя, президент Рузвельт назначил Рута государственным секретарем. На посту государственного секретаря реформировал консульскую службу, поддерживал политику открытых дверей на Дальнем Востоке. В 1906 году посетил 3-ю Панамериканскую конференцию в Рио-де-Жанейро, убеждал правительства латиноамериканских стран участвовать в Гаагской мирной конференции. В 1907 году организовал центральноамериканскую мирную конференцию в Вашингтоне. В 1908 году заключил соглашение Рута—Такахиры с Японией.
Являлся одним из учредителей Совета по международным отношениям.
Участвовал в работе Парижской мирной конференции. В 1921—1922 гг. Рут представлял США на Вашингтонской морской конференции.