Джош — один из пяти детей Паулетты и Пита Смитов. У него есть брат Уолтер и три сестры, Касола, Шанти и Фебе. Джош был известным баскетболистом на школьном уровне, учился в старшей школе Джона Макичерна в Повдер-Спрингз, а последний год обучения провёл в академии Оак Хилл в Виргинии, которая считает одной из лучших баскетбольных школ в США.
После окончания школы Смит не пошёл в колледж, а выставил свою кандидатуру на драфт НБА. На драфте 2004 года он был выбран под 17-м номером клубом «Атланта Хокс». В дебютном сезоне Смит в среднем за игру набирал 9,7 очков, делал 6,2 подбора и 2 блокшота, он также выиграл конкурс слэм-данков в феврале 2005 года, а по итогам сезона был включён во вторую сборную новичков НБА.
В следующих сезонах Смит значительно улучшил свою статистику как в атаке (17,2 очка в среднем за игру в сезоне 2007/2008) и в защите (2,9 блокшота в сезоне 2006/2007). 8 августа 2008 года Смит, ставший ограниченно свободным агентом, подписал пятилетний контракт на сумму 58 миллионов долларов, предложенный клубом «Мемфис Гриззлис», но «Хокс» предложили Джошу аналогичные условия и оставили его в команде.
2 февраля 2010 года в матче против «Оклахома-сити Тандер» Джош Смит сделал свой 1000 блокшот, став самым молодым игроком в истории лиги, которому удалось достичь этой отметки.