Джим Кэлхун родился и вырос в городе Брэйнтри в Массачусетсе. В старшей школе он играл в баскетбол, американский футбол и бейсбол. В 15 лет Джим остался без отца и вынужден был заботиться о большой семье. После окончания школы он получил баскетбольную стипендию в колледже штата в Лоуэлле, но ему пришлось бросить колледж через три месяца, чтобы заботиться о семье. Кэлхун работал резчиком по граниту, изготовителем надгробий, могильщиком, рабочим на складе металлолома и фабрике по изготовлению шампуня.
Через 20 месяцев после ухода из колледжа Кэлхун продолжил обучение, поступим в Американский международный колледж в Спрингфилде, где он также получил баскетбольную стипендию. В первых двух сезонах Джим был ведущим игроком университетской баскетбольной команды, в третьем сезоне стал её капитаном и помог выйти в плей-офф второго дивизиона национального студенческого чемпионата. В 1968 году Кэлхун окончил колледж, получив степень бакалавра по социологии.
С 1966 по 1968 годы Кэлхун работал помощником главного тренера баскетбольной команды Американского международного колледжа, после чего как главный тренер по году руководил баскетбольными командами старших школ Олд Лайм в Коннектикуте и Вестпорт в Массачуссетсе. В 1972 году Кэлхун создал сильную баскетбольную команду в школе Дедэм в Массачусетсе, под его руководством команда выиграла 21 игру при одном поражении и дошла до полуфинала чемпионата штата.
В октябре 1972 года Джим Кэлхун стал главным тренером баскетбольной команды Северо-Восточного университета в Бостоне. Он на протяжении 14 сезонов руководил университетской командой и вывел её в лидеры Северо-Атлантической Конференции. Один из ведущих игроков той команды Кэлхуна, Реджи Льюис, впоследствии был выбран на драфте НБА в первом раунде и стал капитаном клуба «Бостон Селтикс».
В 1986 году Кэлхун был назначен главным тренером баскетбольной команды Университета Коннектикута. За годы своей работы он сделал университетскую команду «Хаскис» одной из сильнейших в США: дважды она выигрывала студенческий чемпионат и 6 раз побеждала в чемпионате конференции Биг-Ист. На конец сезона 2009/2010 «Хаскис» за всё время под руководством Кэлхуна одержали 575 побед при 221 поражении.