Отец И. И. Боргмана — обрусевший еврей, уроженец Финляндии, мать — русская.
Обучался во 2-й Санкт-Петербургской гимназии, после её окончания в 1866 году поступил в Санкт-Петербургский университет, на физико-математический факультет.
Окончил курс со степенью кандидата в 1870 году, продолжил работу в университете для получения степени магистра физики. В 1873 году Боргман отправился в Гейдельбергский университет, где слушал лекции и занимался в лаборатории Кирхгофа. В 1875 году был назначен лаборантом в Санкт-Петербургский университет.
В 1877 году защитил диссертацию по теме «О гальваническом сопротивлении углей при различных температурах», основанную на собственных опытах, и начал чтение лекций в качестве приват-доцента.
Уже в следующем году защитил диссертацию «О влиянии среды на электродинамические явления и об определении функции намагничивания жидкостей», получил степень магистра. Дальнейшие работы Боргмана также посвящены электричеству и магнетизму.
Степень доктора И. И. Боргман получил в 1882 году после защиты диссертации «О нагревании железа при прерывчатом намагничивании». Будучи профессором университета Боргман читал курсы почти по всем разделам физики (механика, оптика, электричество, термодинамика), совершенствовал систему преподавания и ведения практических занятий. Кроме того, Боргман читал лекции на высших женских курсах, на педагогических женских курсах (1876—1883) и в электротехническом институте. Технологический институт в Петербурге также считал Боргмана своим преподавателем по механической теории тепла и электротехнике.
Боргман преподавал физику членам императорской семьи. В январе 1883 года по 1886 год — наследнику престола, юному Николаю Александровичу. В то же время начал преподавать великому князю Георгию Александровичу, окончил преподавание в 1890 году. После этого преподавал также великим княжнам Ксении Александровне и Ольге Александровне и великому князю Михаилу Александровичу.
С 1886 года в течение многих лет Боргман состоял редактором физической части «Журнала Русского физико-химического общества».
В 1899 году Санкт-Петербургским электротехническим институтом удостоен звания Почётного инженера-электрика — в числе первых из всего 17-ти, кому оно было присвоено (с 1899 по 1903 гг.; среди них: Д. А. Лачинов, А. Н. Лодыгин, Н. Н. Бенардос, А. С. Попов, М. О. Доливо-Добровольский, К. Ф. Сименс) .
С 1875 по 1901 И. И. Боргман был редактором физического отдела вновь образованного в 1872 году «Журнала Русского физико-химического общества» (ЖРФХО, первый редактор — Д. К. Бобылёв), который был сформирован основе «Журнала Русского химического общества» (основан в 1869 году). С 1931 года правопреемник физического отдела ЖРФХО — «Журнал экспериментальной и теоретической физики» (ЖЭТФ).
Под руководством Боргмана и по его планам в 1901 году при университете был создан Физический институт, удовлетворяющий самым передовым требованиям того времени. Здание Физического института стало первым в России, спроектированным специально для занятий физикой.
Боргман стал первым директором вновь созданного института. Он подарил институту бюсты Ньютона и Фарадея, ныне украшающие 308-ю аудиторию. Личное книжное собрание И. И. Боргмана дало начало библиотеке факультета.
В 1905 году стал первым избранным ректором Петербургского университета, через пять лет (1910) в знак протеста против нарушения полицией прав студентов оставил эту должность. С 1905 г. — член кадетской партии. В 1906 году состоял членом Государственного совета от университетов. В 1913 г. избран членом Петербургской городской думы.
В 1911 году удостоен почетной степени Doctor of Laws (L. L. D.) университета St. Andrews в Шотландии.
17 мая 1914 года Иван Иванович Боргман скончался.
И. И. Боргман одним из первых физиков в мире понял суть и значение теории электромагнитного поля Максвелла и пропагандировал её.
Почти все многочисленные работы И. И. Боргмана были напечатаны в «Журнале Русского физико-химического общества».
К основным работам можно отнести:
Монографии:
Последние работы посвящены электрическому свечению разреженных газов (1899—1904) и радиоактивности русских целебных грязей (1904—1905).
С 1910 г. редактировал сборники «Новые идеи в физике».