Родился в семье крепостных графа А. М. Черкасского, позже отошедших к графу Шереметеву в качестве «приданого» его жены Варвары Алексеевны. Воспитывался в семье дяди, С. М. Аргунова.
Учился портретной живописи у своего двоюродного брата Фёдора Леонтьевича Аргунова, а также у иностранных мастеров. Под руководством своего учителя Г.-Х. Гроота создал иконы для церкви Екатерининского дворца в Царском Селе.
Аргунов, помимо живописного, имел и педагогический талант. По приказанию императрицы Елизаветы Петровны, к нему были отданы «в ученье художеству» придворные певчие, потерявшие голоса: А. П. Лосенко (бывший потом профессором и директором Академии художеств), К. И. Головачевский (инспектор Воспитательного училища Академии), И. С. Саблучок (Саблуков, Иван Семёнович?) (академик).
Обучал И. П. Аргунов и собственных сыновей: Павла, ставшего архитектором, и Якова и Николая, будущих живописцев.
Работал в Москве, Петербурге, в пригородах — Останкино, Кусково.
Автор целого ряда превосходных парадных и камерных портретов.
Известность Аргунову принесли портреты петербургской знати, например, П. Б. Шереметева. Художник не идеализирует внешность модели, он смело передает и косящие глаза, и некоторую одутловатость лица. При этом обращает на себя внимание мастерское владение художником кистью в передаче фактуры, изысканность теней.
В 1762 году И. П. Аргунов получил ответственный заказ — создание портрета императрицы Екатерины II. Портрет выполнен в традициях парадного портрета. Монаршая особа показана в подчеркнуто театральной позе, взгляд её направлен на зрителя сверху вниз. Аргунов тщательно выписывает пышный антураж (фрагмент колонны, роскошные драпировки, золоченые детали мебели, регалии).
Одними из лучших произведений мастера по праву считаются камерные парные портреты К. А. Хрипунова и его супруги. Оба супруга изображены едва оторвавшимися от чтения, взгляд (внимательный, добрый Хрипуновой и испытывающий, умный её мужа) направлен на зрителя. Укрупнённое изображение моделей в интимной обстановке создаёт особую близость героев зрителю.
Особое место в творческом наследии мастера занимают детские и юношеские портреты: И. П. Аргунов убедительно передаёт возрастные и психологические особенности юных моделей. Художник пишет удивительно нежный, мягкий образ калмычки Аннушки. Девочка держит развёрнутую на зрителя гравюру с изображением её недавно скончавшейся хозяйки Варвары Алексеевны.
К наиболее часто репродуцируемым работам И. П. Аргунова относится «Портрет неизвестной крестьянки в русском костюме».
С 1778 года Аргунов практически не работал как живописец, а занимался управлением московского дома Шереметевых. При его участии происходило строительство дворца-театра в Останкино.
Портрет Великой Княгини Екатерины Алексеевны
Портрет княгини Екатерины Александровны Лобановой-Ростовской, 1754
Портрет Екатерины II, 1762
Портрет неизвестной крестьянки в русском костюме, 1784