В 1980 его имя было (в числе первых номинантов) включено в Зал славы блюза, а в 1992 в Зал славы рок-н-ролла.
Родился в общине Ричлэнд, огруг Холмс, штат Мисисипи. Элмор начал что-то играть с 12 лет, используя самодельный однострунный инструмент. Музыкальная карьера началась с выступлений на танцах под именами Cleanhead и «Joe Willie James.)
В 1951 году он начинает записываться на небольшом лейбле Trumpet Records, сначала как приглашённый музыкант с Сонни Бой Вильямсоном и Вилли Лавом, затем уже как сольный исполнитель дебютирует с синглом «Dust My Broom». Запись представляла собой авторизированный вариант блюза Роберта Джонсона. Сингл вышел в 1952 году и стал одним из ритмэндблюзовых бестселлеров года. Более крупные фирмы звукозаписи предлагали Элмору Джеймсу заключить с ними контракт.
Элмор Джеймс разрывает контроакт с Trumpet и подписывает с Bihari Brothers. Песня «I Believe» становится популярной в следующем году. В 1950-х годах Элмор Джеймс сотрудничал с также с лэйлами Flair Records и Meteor Records, Modern Records, Chess Records, Chief Records.
В 1959 году он начинает сотрудничать с лэболом Fire Records, где он делает свои лучшие записи: «The Sky Is Crying», «My Bleeding Heart», «Stranger Blues», «Look On Yonder Wall», «Done Somebody Wrong», «Shake Your Moneymaker».
Здоровье Элмора Джеймса было серьёзно подорвано нездоровым образом жизни, особенно — неумеренным потреблением алкоголя. В 1963 у Джеймса ухудшилось состояние здоровья, вследствие чего он отказался от запланированных туров. 24 мая 1963 года у Джеймса, который в тот момент находился в Чикаго, случился инфаркт, перед поездкой в Европу в рамках Американского фолк-блюзового фестиваля. Музыкант скончался на 45-ом году жизни. Расходы на погребение взял на себя Чикагский диджей Биг Билл Хилл.
Музыканта похоронили на кладбище баптистской церкви в Ньюпорте, округ Холмс, штат Миссисипи. Надгробный камень на могиле Джеймса установлен 10 декабря 1992 года на средства владельца Capricorn Records Фила Волдена. На лицевой стороне чёрного гранита — бронзовое скульптурное изображение Джеймса с гитарой и подписью, высеченной в камне: «The King of the Slide Guitar» (Король слайд-гитары). На обратной стороне — строка песни «The Sky Is Crying»: «The Sky Is Cryin'… Look at the Tears Roll Down the Street» (Плачут небеса… Взгляни как слёзы текут по улице).
Продюсер Бобби Робинсон позже вспоминал тот день: «Я не видел как он умер, и когда узнал об этом, я был очень расстроен». Кузен Элмора Хоумсик Джеймс, который с ним жил, рассказывал: «Он сидел на стуле и одевался, так как собирался ехать в клуб. Другие музыканты ждали его в авто. И вдруг он почувствовал боль и упал на пол. Он уже пережил один сердечный приступ, и я понял, что Элмор мёртв. Это было шоком и большой потерей для всех нас».
После смерти Джеймса Робинсон основал студию звукозаписи «Enjoy Records» и выпустил старый материал певца, записанный на разных лейблах. Весной 1965 композиция «It Hurts Me Too» (Enjoy 2015) заняла 15-е место в хит-параде Billboard.