Отец Маккарти был наполовину ирландцем, наполовину немцем, а мать — ирландкой. В 14 лет он закончил среднюю школу, в 20 лет получил высшее юридическое образование. В 1930-35 годах работал в колледже.
В 1942 году во время Второй мировой войны Маккарти был зачислен в Корпус морской пехоты США.
В 1946 году он был выдвинут кандидатом в сенат от штата Висконсин. Ему покровительствовал Гарольд Хант[неавторитетный источник?]. Получив статус сенатора, Маккарти встал на крайне антикоммунистические позиции, выступая за усиление холодной войны и преследуя коммунистов. 22 марта 1947 года президент США Гарри Трумэн издал указ 9835, который запрещал приём на работу в государственные органы неблагонадёжных элементов. Однако Комиссия по расследованию антиамериканской деятельности не ограничивалась государственными служащими, фактически проводя внесудебные расследования над многими деятелями культуры и искусства.
9 февраля 1950 года, в день Линкольна, выступая в Республиканском женском клубе в западновиргинском Вилинге, Маккарти заявил: «У меня на руках список из 205 сотрудников Госдепартамента, которые оказались либо имеющими членский билет, либо безусловно верными коммунистической партии, но которые, несмотря ни на что, все ещё помогают формировать нашу внешнюю политику». Затем список был пополнен ещё тремя тысячами американских чиновников. В списке помимо лиц, с сочувствием относившихся к коммунизму и СССР, были также гомосексуалисты. Многие фигуранты списка были уволены с работы. После проверки книжных фондов публичных библиотек было изъято около 30 тысяч наименований книг прокоммунистической направленности. В 1953 году Маккарти возглавил Постоянный подкомитет по расследованиям Сената США и организовал серию публичных слушаний.
Маккарти утверждал, что коммунисты проникли во все сферы власти в США, в том числе в сенат и армию. В частности, жертвами развязанной им кампании против коммунистов стали супруги Розенберг, обвинённые в шпионаже в пользу СССР.
В 1954 году известный тележурналист Эд Мэроу подверг методы Маккарти уничижительной критике. В последующей публичной дискуссии Маккарти потерпел поражение, после чего его карьера пошла на спад. Поворотной точкой в падении Маккарти стали публичные слушания против армии США, которые транслировались в прямом телевизионном эфире, и во время которых общественности стали очевидны недостойные методы, которые использовал сенатор.
2 декабря 1954 года сенат вынес решение, порицавшее поведение Маккарти.
Маккарти страдал алкоголизмом и более чем за полтора года до окончания своих полномочий 2 мая 1957 года умер от гепатита в больнице города Бетесда в возрасте 48 лет. Похоронен в городе Эпплтон в штате Висконсин.