Родился в крестьянской семье. Окончил 7 классов начальной школы, затем работал слесарем на Днепропетровском заводе имени Карла Либкнехта.
С 1939 года в Красной Армии. В 1941 году окончил 1-е Ульяновское дважды Краснознаменное танковое училище им. В. И. Ленина. С мая 1942 года на фронтах Великой Отечественной войны. Начиная с 1943 года член ВКП(б) (КПСС). Участвовал в боевых операциях на Западном, Центральном и 1-м Белорусском фронтах.
Старший лейтенант Иван Шевцов — командир танковой роты 142-го танкового батальона (95-я танковая бригада, 9-й танковый корпус, Центральный фронт) отличился в ходе Курской битвы:
15 июля 1943 года, во главе своего танкового подразделения и во взаимодействии с пехотой, старший лейтенант Шевцов И. А. в числе первых ворвался на железнодорожную станцию «Малоархангельск» в Орловской области и в течение пяти часов удерживал её, нанеся противнику значительный урон в живой силе и боевой технике. В этом бою Шевцов И. А. был ранен. Указом Президиума Верховного Совета СССР от 27 августа 1943 года старшему лейтенанту Шевцову Ивану Андреевичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 1708).
В 1948 году Шевцов И. А. окончил Военную академию бронетанковых и механизированных войск, а в 1956 году — Военную академию Генерального штаба. Командир танкового батальона, начальником штаба танкового полка, начальник оперативного отделения танковой дивизии, заместитель командира танковой дивизии, командир танковой дивизии.
С 1961 года И. А. Шевцов в Ракетных войсках стратегического назначения (РВСН):
С 1983 года генерал-полковник Шевцов И. А. — в отставке.
В 1983 году поступил на работу в «Конструкторское бюро транспортно-химического машиностроения» (сегодня, ФГУП КБ ТХМ входит во ФГУП «ЦЭНКИ»).
Жил в Москве. Скончался 17 мая 2008 года. Похоронен на Троекуровском кладбище в Москве.