Плванием Холл младший начал заниматься в очень раннем возрасте, первым тренером для него стал отец.
На Олимпийских играх в Атланте Гэри Холл рассматривался, как главная надежда сборной в плавательном бассейне. Действующий президент США Билл Клинтон специально прибыл на финальный заплыв на дистанции 50 метров вольным стилем, чтобы лично поздравить Гэри Холла с победой. Но победа досталась россиянину Александру Попову. Но без золота Холл не уехал с игр. Он стал двукратным чемпионом игр в составе эстафетных команд в вольном стиле и комплексном плавание. Причём во время этапа кролевой эстафеты Холл вновь соперничал с Поповым, но на этот раз опередил его.
В 1999 году спортсмену поставили диагноз диабет I степени. Это означало, что Холлу больше нельзя было профессионально заниматься плаванием. Но он нашёл в себе силы побороть болезнь и вернуться на международную арену.
Противостояние Холла и Попова продолжилось на Олимпиаде в Сиднее. Дистанция 50 метров вольным стилем в этот раз осталась за Холлом, который поделил первое место с соотечественником Энтони Эрвином. А на дистанции 100 метров Гэри вновь уступил Алекснадру Попову, но в этот раз еще быстрее проплыл голландец Хугенбанд. И вновь две эстафетных медали пополнили копилку американца. Золото в комплексной и серебро в эстафете вольным стиле.
После удачных игр Холл ушёл в тень, практически не участвуя в соревнованиях. Но к играм в Афинах Холл вновь подошёл в оптимальной форме. Была одержана очередная победа на коронной дистанции 50 метров и также бронза в комплексной эстафете 4х100.
Гэри Холл пытался отобраться и на Олимпийские игры в Пекин, но не сумел пройти национальный отбор.
Всего на Олимпийских играх Гэри Холл стартовал на 10 дистанциях, как индивидуальных, так и эстафетных и завоевал 10 медалей, то есть ниразу он не оставался за пределами призовой тройки.
Первый допинговый скандал с участием Гэри Холла случился сразу после Олимпийских игр в Атланте. В крови пловца были обнаружены следы марихуаны, но поскольку в то время это не являлось поводом для дисквалификации Холл получил только предупреждение. В 1998 году американец вновь был пойман на употреблении марихуаны и уже был отстранён от участия в соревнованиях на 3 месяца.
В настоящее время является активным противником употребления допинга в спортивном мире.
Отцом Гэри Холла младшего является знаменитый пловец, Олимпийский чемпион Гэри Холл старший. Вместе с ним Холл младший основал «The Race Club». В котором тренируются перспективные пловцы.
В 1997 году окончил Техасский университет.
В 2006 году Гэри Холл вместе со своей сестрой Бебе занимался подводной рыбалкой. Во время очередного погружения сестра Холла подверглась нападению акулы. Гэри начал отбиваться от неё, ударяя ногой в нос, а сестра в это время стрельнула в акулу из гарпуна, после чего та скрылась. Сам Гэри не постарадал, а у Бебе была повреждена рука.