Родился в городе Архангельске в небогатой семье. В 1878 г. поступил на математическое отделение физико-математического факультета Петербургского университета. Это было время расцвета Петербургской математической школы, созданной П. Л. Чебышевым. Здесь Мещерский с интересом слушал лекции как самого Чебышева, так и известных в то время профессоров А. Н. Коркина (1837—1908), К. А. Поссе (1847—1928) и многих других.
В студенческие годы Мещерский с особым интересом занимался механикой. В 1882 г. он окончил университет и был оставлен для подготовки к профессорскому званию. С этого времени начинается его более чем полувековая научно-педагогическая деятельность. В 1891 г. он получил кафедру механики на Петербургских высших женских курсах, которую занимал до 1919 г., то есть до слияния этих курсов с университетом. В 1897 г. Мещерский успешно защитил в Петербургском университете диссертацию на тему «Динамика точки переменной массы», представленную, им для получения степени магистра прикладной математики.
В 1902 г. он был приглашён заведовать кафедрой в Петербургский политехнический институт. Здесь до конца жизни протекала его основная научно-педагогическая работа. И. В. Мещерский 25 лет вёл педагогическую работу в Петербургском университете и 33 года в Политехническом институте. За эти годы он обучил тысячи специалистов. Многие его слушатели стали крупными учёными (академик А. Н. Крылов, профессор Г. В. Колосов и др.).
За выдающиеся заслуги в области науки И. В. Мещерскому в 1928 году было присвоено звание заслуженного деятеля науки. Его именем назван кратер на Луне.
Широко известен его курс теоретической механики и особенно его «Сборник задач по теоретической механике» (1914), выдержавший 36 изданий и принятый в качестве учебного пособия для высших учебных заведений не только в СССР, но и в ряде зарубежных стран. Сборник Мещерского, как и его работа «Преподавание механики и механические коллекции в некоторых высших учебных заведениях Италии, Франции, Швейцарии и Германии» (1895), немало способствовали подъёму научного и педагогического уровня преподавания механики в высших учебных заведениях России.
Во втором выдающемся труде Мещерского «Уравнения движения точки переменной массы в общем случае» (1904) его теория получила окончательное и в высшей степени изящное выражение. Здесь он устанавливает и исследует общее уравнение движения точки, масса которой изменяется от одновременного процесса присоединения и отделения материальных частиц. Это уравнение известно как уравнение Мещерского.
И. В. Мещерский не только разработал теоретические основы динамики переменной массы, но и рассмотрел большое количество частных задач о движении точки переменной массы, например восходящее движение ракеты и вертикальное движение аэростата. Он подверг весьма обстоятельному исследованию движение точки переменной массы под действием центральной силы, заложив тем самым основания небесной механики тел переменной массы. Он исследовал также и некоторые проблемы движения комет.
И. В. Мещерский впервые сформулировал и так называемые обратные задачи, когда по заданным внешним силам и траекториям определяется закон изменения массы. Кроме работ по механике переменных масс, ему принадлежит ряд работ по общей механике. Заслуги Мещерского в науке чрезвычайно велики. Однако лишь с началом полётов в космос с достаточной полнотой выяснилось огромное практическое значение его исследований по механике переменных масс.
После Второй мировой войны стало появляться большое число глубоких теоретических исследований, посвящённых как специальным проблемам ракетодинамики и динамики тел переменной массы, так и значительному обобщению результатов исследований Мещерского. Опираясь на его труды, многие советские и зарубежные учёные разработали основные вопросы динамики твёрдого тела произвольных изменяемых систем переменной массы. Технический прогресс в области реактивного движения наглядно показывает проницательность и глубину научных исканий Мещерского.
В историю науки Мещерский вошёл как основоположник механики тел переменной массы. Его исследования в этой области явились теоретической основой современной ракетодинамики. Его имя неразрывно связано с именем одного из создателей научных основ космонавтики — К. Э. Циолковского.