После гибели отца в 1059 году, Герман унаследовал графство Зальм, а его старший брат, Конрад I, стал графом Люксембурга.
В марте 1080 года папа римский Григорий VII в очередной раз отлучил короля Германии и императора Священной Римской империи Генрих IV, который выдвинул в качестве кандидата на папский престол архиепископа Виберта из Равенны, взявшего имя Климент III. Предшественник Германа, Рудольф Швабский, умер от ран, полученных в сражении в октябре 1080 года в борьбе с Генрихом.
В то время как Генрих IV находился в то время в Северной Италии, Герман был избран в противовес Генриху IV вторым антикоролем Германии 6 августа 1081 года в Оксенфурте дворянством Саксонии и Швабии, с тем условием, чтобы выборы епископов были свободны, а королевский сан ни в каком случае не был бы наследственным. Зигфрид I, архиепископ Майнца, короновал Германа в Госларе 26 декабря того же года. В то время резиденцией Германа был замок в Айслебене. Гражданская война закончилась, антипапа Климент III короновал Генриха и занял Рим, в то время как Григорий VII бежал в Салерно.
Сфера влияния Германа Зальмского была ограничена в пределах Саксонии, так как его союзниками были только знатные дворяне из Саксонии и Швабии. Даже влиятельные его родственники, правившие всем графством Люксембург остались верными императору. Герман не был значительным лицом в Германии, а также он не обладал такой властью, как Рудольф Швабский, что позволяло Генриху укрпелять свои позиции.
Попытка контролировать Италию, придя на помощь папе Григорию VII в борьбе с антипапой Климент III, собрав войско и переправив его через Дунай, была сорвана после смерти его главного союзника Оттона Нортхеймского, герцога Баварии. После смерти последнего, влияние Германа Зальмского сильно ослабло. Это позволило стороннику императора герцогу Швабии Фридриху I укрепить контроль над Швабией, а герцог Саксонии Магнус примирился с императором.
Когда Генрих вторгся в 1085 году с армией в Саксонию, Герман бежал в Данию, но вскоре вернулся. При поддержке герцога Баварии Вельфа IV, он победил императора в 1086 году в битве при Блейсфилде на реке Майн и выиграл Вюрцбург. Однако влияние Германа по-прежнему оставался низким, и он никогда не представлял Генриху опасности.
В 1088 году, после разрыва союза с Саксонией, он покинул Германию и отправился в Лотарингию, где и скончался вскоре в замке Кохем. Он был похоронен в Меце. После его смерти, маркграф Мейсена Экберт II попытался продолжить борьбу с императором. Он не смог поднять восстание, и император Генрих IV полностью усмирил мятеж.
Старший сын Германа I, Герман II стал графом Зальма, а другой сын, Оттон I был некоторое время пфальцграфом Рейна.
Жена: София фон Формбах (ок. 1050/1055 — после 1088), дочь Мегинхарда IV, графа Формбаха. Детьми от этого брака были: