Поступил на военную службу в апреле 1908 года фанен-юнкером (кандидат в офицеры) в 4-й крепостной гвардейский полк. В августе 1909 года — произведён в лейтенанты. С октября 1913 года — батальонный адъютант.
С началом войны лейтенант фон Арним — адъютант батальона 93-го пехотного полка, вместе с которым воюет в Бельгии и Северной Франции. 23 августа 1914 года ранен. В сентябре 1914 года награждён Железным крестом 2-й степени, позже, в ноябре 1914 года и 1-й степени. С ноября 1914 по июнь 1915 года — и. о. адъютанта 93-го пехотного полка.
В январе 1915 года получил звание обер-лейтенанта и в ноябре 1915 года назначен командиром пехотной роты того же полка. Вместе со своей ротой в течение года, до июля 1916 года он служил во Фландрии, когда был вторично ранен. После чего был отправлен на Восточный фронт.
На Восточном фронте Арним был офицером для особых поручений 4-й гвардейской егерской дивизии. 27 января 1917 года ему присваивают звание гауптмана. После получения нового звания Ханс Юрген фон Арним отправляется в отпуск, и в марте 1917 года женится на Анне Марии фон Дехенд. Бракосочетание состоялось в Берлине 26 марта 1917 года.
Вскоре Ханс Юрген возвращается на Восточный фронт в свою дивизию, и в июле 1917 года становится дивизионным адъютантом. Однако уже в октябре 1917 года ему поручают командование пехотным батальоном, с которым он сражается в последних боях Первой мировой войны на Западном фронте. Во время Первой мировой войны он зарекомендовал себя толковым офицером как на работе в штабе, так и в окопах. Помимо Железного креста обеих степеней был награждён ещё двумя орденами, получил серебряный знак за ранение.
После окончания войны он продолжает военную карьеру и становится одним из 4000 офицеров нового, значительно сокращенного рейхсвера, получив под своё командование роту 29-го пехотного полка.
С 1920 по 1921 год он командовал батальоном во 2-й дивизии, а с 1921 по 1922 год был дивизионным адъютантом. Следующие два года фон Арним прослужил в Касселе в штабе группы армий. В октябре 1924 года его перевели в Имперское министерство обороны.
В октябре 1935 года принял командование 68-м пехотным полком, входившим во вновь сформированную 23-ю пехотную дивизию. В январе 1938 года произведён в генерал-майоры, с мая 1939 года — офицер специальных поручений верховного командования сухопутных сил.
12 сентября 1939 года принимает под своё командование 52-ю пехотную дивизию, находившуюся в стадии формирования. Эта дивизия вообще не участвовала в польском походе, а во французской кампании её задействовали лишь частично. Несмотря на это в декабре 1939 года фон Арниму присвоили звание генерал-лейтенанта.
В октябре 1940 года его перевели в Мюнхен и назначили командиром 17-й танковой дивизии. До этого момента он не имел никакого отношения к бронетанковым войскам.
17-я танковая дивизия была задействована с первых дней войны против Советского Союза: она форсировала Буг севернее Брест-Литовска и 24 июня захватила Слоним. 26 июня приняла участие в тяжёлых боях у Шклова. 27 июня во время боя на окраине этого города генерал фон Арним был ранен. Его отправили в Польшу, а потом и в Берлин на лечение. Арним вернулся в свою дивизию после полного выздоровления и отпуска по ранению в сентябре 1941 года. Он принял участие в сражениях под Киевом, Вязьмой и Брянском. Тогда же, 4 сентября 1941 года фон Арним награждён Рыцарским крестом.
В ноябре 1941 года фон Арним назначен командующим 39-м танковым корпусом, а в декабре 1941 года произведен в генералы танковых войск.
С декабря 1942 года — командующий 5-й танковой армией (в Африке), в звании генерал-полковник. С марта 1943 года — командующий группой армий «Африка».
12 мая 1943 года взят в плен в Тунисе британскими войсками.
Отпущен на свободу в июле 1947 года.