Родился в семье Питера и Мэри Джонстонов и был назван в честь майора Джозефа Эгглстона, под командованием которого его отец воевал во время Войны за независимость. В 1829 году закончил Военную академию в Вест-Пойнте, причем учился в одном классе с будущим генералом Робертом Ли. После академии прослужил 8 лет в артиллерии, затем уволился со службы, но через год опять вернулся в армию уже в инженерные войска. Принимал активное участие в войне с Мексикой, где был дважды серьёзно ранен, а также в военных конфликтах с индейским населением. В 1855 году получает звание полковника, а 28 июня 1860 года становится квартирмейстером армии США в чине бригадного генерала.
Когда в 1861 году его родной штат Виргиния вышел из состава США, Джонстон стал самым высокопоставленным офицером, который подал в отставку и перешел на сторону Юга.
На Юге Джонстон начал карьеру как генерал-майор добровольнической армии Виргинии. После присоединения вирджинских добровольцев к армии Конфедерации Джонстон начал быстро двигаться по служебной лестнице. В течение войны он последовательно возглавлял: армию Шенандоа, Потомакскую Армию Конфедерации, округ Северная Виргиния, Западный округ, армию Теннесси и округ Теннесси-Джорджия, округ Южная Каролина-Джорджия-Флорида. Закончил войну командующим округом Северная Каролина.
Полководческая звезда Джонстона взошла в сражении при Булл-Ране и не заходила до самого конца войны. Джонстон ярко проявил себя в сражении в Семи Соснах, в котором был ранен и заменен Робертом Ли. После выздоровления армия Теннесси под командованием Джонстона пыталась прийти на помощь Джону Пембертону, осаждаемому в Виксбурге Улиссом Грантом. Затем была попытка удержать форт Джексон на Миссисиппи. Там Джонстону в первый раз противостоял Уильям Шерман.
Постоянные неудачи армии Теннесси привели к отставке командующего. Дела у его преемника Джона Худа оказались еще хуже. Шерман начал свой разорительный (для Джорджии и обеих Каролин) марш к морю, и Конгресс Конфедерации обратился к Джонстону с просьбой возглавить сразу три военных округа.
К несчастью для Юга, людские ресурсы были уже истощены. Джонстон капитулировал перед Шерманом 26 апреля 1865 года на станции Дэрхем.
После войны Джонстон поселился в Саванне, штат Джорджия. Был президентом железнодорожной компании в Арканзасе, а также занимался страховым бизнесом. В 1877 вернулся в Ричмонд. В 1879 - 1881 годах был конгрессменом от Демократической партии. В 1887 году президент Гровер Кливленд назначил его на должность Уполномоченного по железным дорогам, где он и прослужил до своей смерти. Джонстон, как и Ли, никогда не забывал великодушия человека, которому они сдались. Когда Шерман умер, Джонстон был одним из тех, кто нес его гроб на похоронах в Нью-Йорке 19 февраля 1891 года. Стояла холодная и дождливая погода, но Джонстон в знак уважения шел с непокрытой головой. Когда его попросили надеть шляпу, опасаясь за его здоровье, он ответил: "Если бы я был на его месте, а он стоял бы на моем, он бы не надел свою шляпу". В результате он заболел пневмонией и скончался несколько недель спустя в Вашингтоне. Похоронен на мемориальном кладбище в Балтиморе.