Родился в Пенсильвании. Окончил школу Lower Merion High School, где был лучшим учеником в классе. Поступил в Принстонский университет, который также окончил с отличием в 1950 году. Получил стипендию Родса для учебы в Оксфордском университете. Служил в армии США, затем работал в аналитическом подразделении ЦРУ Office of National Estimates. С 1957 по 1962 год преподавал историю в Гарвардском университете. С 1964 по 1974 год — профессор истории в Принстонском университете. С 1973 по 1987 год — директор Международного центра учёных Вудро Вилсона. На этом посту он основал Институт перспективных российских исследований имени Джорджа Кеннана.
Написал несколько книг о русской истории и культуре. Много раз приезжал в СССР и Россию в составе делегаций Конгресса США. В 1988 году сопровождал президента Рональда Рейгана в поездке в СССР. Хорошо говорит по-русски. В 1999 году Биллингтон совместно с Дмитрием Сергеевичем Лихачевым стал инициатором российско-американской программы «Открытый мир», благодаря которой более 14 000 молодых лидеров из стран бывшего СССР посетили США.
Джейс Биллингтон является иностранным членом Российской академии наук, почётным доктором МГУ и Тбилисского государственного университета, награжден многими орденами медалями.
Директор Библиотеки Конгресса США Джеймс Биллингтон является инициатором создания Всемирной цифровой библиотеки