Родился в мордовской крестьянской семье. В 1927 году окончил профтехшколу. Работал бригадиром транспортной бригады.
С 1928 года в Красной Армии, проходил службу в войсках ОГПУ. В 1930 году вступил в ВКП(б).
В 1933 году окончил пограничное училище в Ленинграде. Служил на различных участках государственной границы в должностях помощника начальника и начальника погранзаставы, помощника начальника штаба и начальника штаба погранкомендатуры.
После начала Великой Отечественной войны на фронте. Принимал участие в боях на Западном, Центральном, 1-м и 4-м Украинском фронтах. Служил начальником штаба и заместителем командира стрелкового полка.
Командовал 1157-м ордена Богдана Хмельницкого стрелковым полком (351-я Шепетовская Краснознаменная, орденов Суворова и Богдана Хмельницкого стрелковая дивизия).
Полк Анкудинова отличился в боях осенью 1944 года. За время с 26 октября по 30 ноября полк участвовал в освобождении городов Мукачево, Ужгород, форсировал водные преграды, штурмом взял населённые пункты Стретава, Палин. Было уничтожено и взято в плен большое количество солдат и офицеров противника.
30 ноября 1944 года в бою на подступах к городу Требишов (Чехословакия) Иван Анкундинов погиб.
Похоронен в Ужгороде на холме Славы.
Именем Анкундинова была названа одна из улиц Ужгорода.