Одним из первых в русской ботанической литературе ввёл картографическое представление ареалов, впервые нанёс на карту ареалы 66 растений.
Образование получил в Училище святого Петра (1845) и Александровском лицее в Санкт-Петербурге (1853).
Борщов был весьма одарён от природы и мог бы занять выдающееся положение в науке, если бы не неблагоприятно сложившиеся условия его воспитания и преждевременная смерть. Назначенный к административной карьере, не соответствовавшей его складу ума и врождённым наклонностям, он рано пристрастился к ботаническим экскурсиям по Петербургской губернии с целью изучения её флоры под руководством академических ботаников К. А. Мейера и Ф. И. Рупрехта. Обрабатывал мхи и грибы, собранные А. Ф. Миддендорфом во время его известного путешествия по Восточной Сибири. Тесная сфера канцелярской службы была не по душе молодому чиновнику-натуралисту, и любовь к природе и жажда изучать её тянули его к широкому простору путешествий.
Поступив на службу в Министерство финансов, Борщов был вместе с зоологом Н. А. Северцовым отправлен в экспедицию, снаряжённую для исследования бассейна реки Сырдарьи (1857—1859), откуда привёз колоссальный материал и гербарий, послужившие основой его ботанических работ. По возвращении оттуда послан был за границу для усовершенствования в естественных науках.
В 1859—1861 годах учился в Вюрцбурге у ботаника профессора Шенка.
Командировка в Арало-Каспийскую экспедицию открыла Борщову свободную дорогу к его любимым занятиям и дала ему богатые материалы для целого ряда ценных научных работ. Растительность Арало-Каспийского края он разделил на 5 областей: 1) ковыльная степь, 2) глинистые пустыни, 3) солёные пустыни, 4) бугристые пески, 5) переходного (от степного к пустынному) характера область Зеравшана. В основу разделения положены характер почв, преобладание тех или иных жизненных форм растений, придающих ландшафту специфические физиономические черты, и особенности таксономического состава.
В 1862 году вышел в отставку из Министерства финансов и переехал в Киев.
В 1865 году Борщов защитил диссертацию на степень магистра ботаники, в 1867 году — на доктора ботаники, и с 1865 года до самой смерти он занимал кафедру ботаники сперва в качестве доцента, а потом — экстраординарного (с 1868 года) и ординарного профессора в Университете Святого Владимира (Киев).
В 1877 году А. А. Бунге назвал в честь Борщова род растений Borsczowia семейства Маревые. В 1879 году Бунге, исправляя свою ошибку в латинском написании фамилии Борщова в названии растения, ввёл в ботаническую таксономию правильное название — Борщовия (Borszczowia Bunge).
В 1958 году Киевским университетом на могиле учёного в селе Будище установлен памятник.