Родился 15 апреля 1800 в Лондоне.
Во флот попал ещё в двенадцатилетнем возрасте, оказавшись на корабле своего дяди — капитана Джона Росса. В 18 лет он с дядей на судне «Изабелла» отправился в первое путешествие в Арктику в район Баффиновой Земли, в 1820-х гг участвовал в трёх северных экспедициях под руководством У. Э. Парри в исследовании Северо-Западного прохода. В 1829—1833 вновь исследовал Арктические районы под руководством дяди Джона. В 1831 году ими был открыт Северный магнитный полюс.
В 1839—1843 гг на кораблях «Эребус» и «Террор» предпринял величайшее для того времени исследование Антарктики, открыв море и величайший шельфовый ледник, названные в его честь. В 1841 году Джеймс Росс открыл антарктические вулканы Эребус и Террор, названные в честь его кораблей. В 1842 году первым из людей Росс пересёк отметку 78° южной широты.
За время экспедиции были исследованы берега Земли Виктории в Антарктиде. Однако, открытые территории Росс считал островами, а не материком. Кроме того, в самой Антарктиде он не высаживался.
По возвращении из Антарктики Росс получил рыцарство и титул «сэр», а во Франции был представлен к Ордену Почётного легиона. В 1847 году о своих исследованиях написал книгу «A Voyage of Discovery and Research to Southern and Antarctic Regions».
В 1848—1849 гг на судне «Энтерпрайз» Росс руководил экспедицией для поиска Джона Франклина, не увенчавшуюся успехом.
Именем Росса кроме моря и шельфового ледника названы два острова в Антарктике (Остров Росса и Остров Джеймса Росса), вид тюленей, сектор территориальных претензий Новой Зеландии в Антарктике, корабль, кратер на Луне, город в Калифорнии, гора на острове Кергелен и др.