Родился 25 сентября 1888 года в городе Белеве ныне Тульской области в рабочей семье. Русский.
Стал железнодорожником. Работал машинистом паровоза в железнодорожном депо станции Белев. В 1918 году вступил в РКП(б)/ВКП(б)/КПСС.
Участник Великой Отечественной войны. Осенью 1941 года, при наступлении немецко-фашистских захватчиков на Белев, машинист Ефимов вывез со станции десять составов с ценным эвакуационным грузом. Был ранен. После выздоровления был откомандирован на станцию Купино Омской магистрали, где два месяца трудился составителем поездов.
Вскоре по личной просьбе был переведён работать на узловую станцию Горбачёво Московско-Курской железной дороги. 25 марта 1943 года во время бомбового налета на паровозе Ефимова сколком бомбы пробило водонапорную трубу, через которую подавалась вода из тендера. Сам Иван Иванович получил много ран. В донесении командования говорилось, что Ефимов, получив ранения, не покинул своего поста и помогал устранять повреждения на станции и только потом обратился за медицинской помощью. Месяц пролежал в госпитале. Выздоровел и снова вернулся на паровоз.
20 ноября 1943 года получил в Кремле из рук М. И. Калинина награду Героя социалистического труда.
После войны продолжал трудиться на своем посту. В декабре 1946 года белёвские железнодорожники выдвинули Ефимова своим кандидатом в члены окружной избирательной комиссии по выборам в депутаты Верховного Совета РСФСР.
Умер И. И. Ефимов 25 сентября 1964 года.