Учился сначала у отца, а затем — в Петербургской консерватории по классам теории композиции у Николая Зарембы и инструментовки — Антона Рубинштейна. В консерваторские годы сблизился с Петром Чайковским, ставшим его многолетним другом. По окончании консерватории в 1869 Губерт стал директором киевского отделения Императорского русского музыкального общества, а год спустя получил приглашение от Николая Рубинштейна на должность профессора теории музыки в Московскую консерваторию. После кончины Рубинштейна в 1881 году стал директором, однако проработал на этом посту лишь около двух лет: в 1883 году конфликт с преподававшим в консерватории дирижирование Максом Эрдмансдёрфером привёл к его отставке. Восстановившись в консерватории в 1885 году, продолжил преподавать до самой смерти.
Не обладая выдающимися организаторскими качествами, Губерт смог, тем не менее, поддержать курс развития консерватории, заданный Рубинштейном, и улучшить её репутацию. Он также имеет большое значение как музыкальный критик: его статьи регулярно появлялись в газете «Московские ведомости» и пользовались большой популярностью. Губерт сотрудничал и с другими журналами, такими как «Современная летопись» и др.