Родился в Речицком уезде Минской губернии (ныне Гомельская область). Отец — священник Михайловской церкви села Стреличева Речицкого уезда Антоний Иванович Гошкевич, мать — Гликерия Яковлевна Гошкевич, брат — Иван Антонович Гошкевич (ставший протоиереем Киевско-Подольской Константиновской церкви), племянник — историк В. И. Гошкевич. Семью относят к священническому роду Гошкевичей (в белорусской традиции — Гашкевичи), к которому, в частности, принадлежит Святой праведный Иоанн Кормянский (см.: Свято-Иоанно-Кормянский монастырь).
В 1835 году И. А. Гошкевич закончил курс Минской Духовной семинарии «первым разрядом» и был направлен в Санкт-Петербургскую Духовную Академию (СПбДА), которую закончил в 1839 г. Тема его кандидатского сочинения — «Историческое обозрение таинства покаяния». Занимался литографическим изданием перевода Старого Завета с древнееврейского языка на русский.
По решению Святейшего Синода от 29 августа 1839 г. зачислен в Российскую духовную миссию в Китае (1839 — 1848). Входил в состав 12-й миссии в Пекине. Итогом его пребывания в Китае стали статьи в фундаментальном исследовании «Труды членов Российской духовной миссии в Пекине». Удостоен ордена св. Станислава III степени.
После возвращения из Китая в Санкт-Петербург в 1850 г. зачислен чиновником по особым поручениям в Азиатский департамент МИД России. А в 1852 г. – был отправлен в качестве драгомана, т.е. переводчика и советника с миссией Е.В. Путятина в Японию на фрегате «Паллада».
26 января (7 февраля) 1855 г. участвовал в процедуре подписания Симодского трактата между Россией и Японией. 14 июля 1855 г. покинул Японию на бриге «Грета», на которой попал в плен англичан в Гонконге (1 августа 1855 г. — 30 марта 1856 г.). В плену занимался составлением при помощи японца Татибана Косай (яп. ???,в старой транскрипции: Тацибана-но Коосай, после крещения Владимир Иосифович Яматов; 1821-1885, Кумэдзо; самурай из клана Какэгава) первого японско-русского словаря (СПБ, 1857).
Вернулся в Санкт-Петербург в мае 1856, где получил медаль темной бронзы на Андреевской ленте «В память войны 1853-1856 гг.», а 16 октября 1857 г. был награжден орденом св. Анны 2-й степени с короною и одновременно 500 руб. серебром. А также «знак отличия беспорочной службы за XV лет».
18 декабря 1857 г. получил «высочайшее соизволение» на издание «Японо-русского словаря», подготовленного совместно с Татибана-но Коосай.
21 декабря 1857 г. высочайшим приказом по гражданскому ведомству назначается Российским императорским консулом в Японии. 1858 г. — лауреат полной Демидовской премии и золотой медали.
1858 - 1865 г. – консул Российской империи в Японии (в Хакодатэ), куда прибыл 5 ноября 1858 г., на на клипере «Джигит». В этом же году ездил для ратификации Эдоского договора о торговле и мореплавании ездил в Эдо – резиденцию сегуна.
По возвращении из Японии в 1865-1866 гг. служил в Азиатском департаменте МИД России в чине коллежского советника (соответствовавшего в табеле о рангах высокому IV классу), по окончании вернулся в Белоруссию, где занялся работой над книгой «О корнях японского языка», которая была опубликована посмертно в 1899 г.
В 1871 г. И. А. Гошкевич с женой были утверждёны в потомственном дворянстве. В 1872 г. у них родился сын Иосиф (стал почётным мировым судьёй Виленского округа, автор книги «Статистические сведения по крестьянскому землеустройству Виленской губернии»).
Умер И. А. Гошкевич в своем имении в д. Мали (ныне Островецкий район Гродненской области) 5 октября 1875 г.
В японских работах «Гошкевич И. А.» пишется катаканой: ???????.