Эльмандер начинал свою карьеру в клубах «Хольмалунд» и «Эргрюте», и уже в 18-летнем возрасте был приглашен в именитый голландский «Фейеноорд». В клубе из Роттердама он не был игроком твёрдой основы, а самым большим достижением Юхана стал выход на замену в победном финале Кубка УЕФА 2002 года против дортмундской «Боруссии».
Осенью 2002 года Эльмандер был отдан в аренду в шведский «Юргорден», с которым он выиграл чемпионат и Кубок Швеции в 2002 году и чемпионат 2003 года. Через год он снова был отдан в аренду — в нидерландский клуб «НАК Бреда».
В 2004 году Эльмандер подписал контракт с датским «Брондбю» и стал одной из главных фигур в атакующей линии клуба. В сезоне 2004/05 он выиграл вместе с командой чемпионат и Кубок Дании и был назван болельщиками клуба игроком года.
Успешная игра в «Брондбю» и сборной страны привела к тому, что Юхана снова заметили в ведущих лигах Европы и после чемпионата мира 2006 года он подписал четырёхлетний контракт с французской «Тулузой». В первом сезоне во Франции Эльмандер забил 11 голов и во многом благодаря ему «Тулуза» заняла третье место и пробилась в Лигу чемпионов.
В июле 2008 года перешёл в английский клуб «Болтон Уондерерс» и в своём первом же матче в Премьер-лиге (16 августа против «Сток Сити») отметился голом.
20 мая 2011 года было объявлено о переходе Эльмандера в турецкий «Галатасарай». 24 мая 2011 года игрок подтвердил, что покидает «Болтон».
Юхан Эльмандер сыграл первый матч за национальную сборную в феврале 2002 года против Греции. В составе сборной на чемпионате мира 2006 сыграл 2 матча, на Евро-2008 — 3.