Джозеф Ален Макдональд родился 1 января 1942 года в Вашингтоне, округ Колумбия, в семье политических активистов Уордена и Флоренс (в девичестве Карпентер) Макдональдов, которые назвали сына в честь Иосифа Сталина. Его отец шотландского происхождения, а мать дочь русских евреев. Детские годы Макдональда прошли в Эль-Монте, Калифорния, куда вынуждена была переехать после войны семья.
Джо Ален с детства посещал концерты проходившие на El Monte Legion Stadium, где звучала музыка всех направлений (кантри, блюз, ритм-энд-блюз, госпел); затем стал завсегдатаем клуба Lighthouse в Эрмоза-бич, где часто выступали артисты, записывавшиеся на Good Time Jazz, лос-анджелесском лейбле, пластинки которого он стал покупать, увлекшись диксиленд-джазом.
В 17 лет Макдональд пошел служить во флот; демобилизовавшись через три года, поступил в лос-анджелесский City College, где проучился год, подрабатывая в магазине гитар Джона и Дьедри Лундбергов на Дуайт-вэй. Большую часть свободного времени он посвящал музыке, играя в ансамблях (таких, как Berkeley String Quartet и Instant Action Jug, где принимал участие его будущий коллега Барри Мелтон).
В 1964 году Макдональд впервые записался на пленку (с фолк-гитаристом Блэйром Хардманом); в 1977 году эти записи вышли под заголовком The Early Years на лейбле First American Records; некоторые из них были перезаписаны для альбома The Goodbye Blues (1976). В середине 60-х годов он начал издавать левый журнал Rag Baby, один из номеров которого непосредственно связан с историей возникновения Country Joe and the Fish.
Осенью 1965 года участники FSM (англ. Free Speech Movement, «Движение за свободу слова») в студенческом городке Беркли организовали серию демонстраций протеста против войны во Вьетнаме. В традициях Движения за гражданские права организаторы антивоенных мероприятий всегда начинали их с развлекательной части. Джо Макдональд решил выпустить «разговорный» номер журнала и к нему приложил самостоятельно изданный EP с четырьмя песнями: две из них («I Feel Like I’m Fixin' To Die Rag» и «Superbird» — сатиру на президента Джонсона) исполнила группа Country Joe and the Fish, два других — местный фолк-синглер Питер Круг. Считается, что это был первый самостоятельно записанный промо-диск в истории рок-бизнеса. В первый состав входили (и почти сразу же уходили) знакомые Джо и Барри; лишь некоторое время спустя они решили собрать постоянную группу и всерьез заняться музыкой.
Country Joe and the Fish стали популярны в Сан-Франциско, став завсегдатаями кофе-хауса Jabberwocky в Беркли и залов Avalon и Fillmore (East & West). Подписав контракт с Vanguard Records в декабре 1966 года, Country Joe and the Fish выпустили дебютный альбом Electric Music for the Mind and Body, куда лейбл решил не включать свою самую известную песню, «I Feel Like I’m Fixing to Die Rag». Она стала заглавным треком треком второго альбома, вышла синглом и достигла 32-го места в Billboard Hot 100. После выхода третьего альбома Together (1968), Country Joe and the Fish провели гастроли в Европе, где были восторженно встречены. В записи их четвертого альбома приняли участие известные приглашенные музыканты: Джек Кэсиди (Jefferson Airplane), Дэвид Гец и Питер Албин (Big Brother and the Holding Company). Популярности группы способствовало и её феноменально успешное выступление на фестивале в Вудстоке, однако история группы приближалась к завершению. Макдональд был призван в суд в качестве свидетеля по делу «Чикагской семерки», позже был арестован в Массачусетсе за «подстрекательство аудитории к непристойному поведению». Мелтона также арестовывали — за хранение марихуаны. В 1971 году, выпустив последний альбом C.J. Fish и снявшись в фильме «Zacharia», Country Joe and the Fish распались в 1971 году.
К этому времени Макдональд подписал сольный контракт с Vanguard и записал два альбома в Нэшвилле: Thinking of Woody Guthrie (декабрь 1969) и Tonight I’m Singing Just for You (май 1970). В ходе британского турне он записал альбом Hold On: It’s Coming, пригласив к участию Питера Грина из Fleetwood Mac. В Скандинавии кинопродюсер Кнуд Торбьорсен предложил ему написать песни для фильма по роману Генри Миллера «Тихие дни в Клиши» («Quiet Days In Clichy»): в саундтрек вошли три из них: «Mara», «Ny’s Song» и «Henry Miller and the Hungry World». Позже Макдональд написал музыку к чилийскому фильму «Que Hacer» — о Сальвадоре Альенде и его триумфальной президентской кампании.
Начиная с 1971 года Макдональд активизировал свое участие в антивоенном движении. Его поездка во Вьетнам в рамках акции FTA (англ. Free The Army) с Джейн Фондой и Дональдом Сазерлендом привела к тому, что его включили в никсоновский «чёрный список». Вернувшись в США, он записал EP с сан-францисской группой Grootna, затем выпустил запись своего концерта в «Bottom Line» под заголовком Incredible Live! (1972). В 1972—1973 годах Макдональду аккомпанировал на концертах All-Star Band, составленный из участников CJ & the Fish и Big Brother and the Holding Company.
Почти весь 1974 год Макдональд провел в Европе. Вернувшись в США в 1975 году, он вошел в состав группы Energy Crisis, где играли Брюс Бартол (экс-Fish) и Фил Марш (экс-Instant Action Jug Band), и с ней записал альбом Paradise With an Ocean View (1975), в котором впервые экологическая тема стала для него основной («Save the Whales»). До конца 70-х годов Макдональд выпустил еще 7 альбомов. В 1977 году Country Joe and the Fish ненадолго воссоединились и записали альбом Reunion.
Начиная с 1982 года основной сферой деятельности Макдональда стала работа с различными группами ветеранов вьетнамской войны (Vietnam Veterans Against the War, Swords to Plowshares, Vietnam Veterans of America). Непосредственным результатом её явился выпуск альбома (и одноименного видео) Vietnam Experience (1988). В 1991 году Джо Макдональд выпустил (в основном акустический) альбом Superstitious Blues, две песни которого исполнил с Джерри Гарсией из Grateful Dead.
В 2004 году Джо Макдональд собрал Country Joe Band, куда вошли участники первого состава группы Дэвид Коэн, Брюс Бартол и Гэри Хирш. В 2007 году он выступил с концертом-трибьютом Вуди Гатри.