Родился в семье портного 4 января 1902 года (22 декабря 1901 года по старому стилю) в городе Шуша Елисаветпольской губернии). Армянин.
В семье было четверо детей. В 1906 году cемья бежала из Шуши и поселилась в Баку.
Окончил православную церковно-приходскую школу и трехгодичную Торговую школу в Баку. После её окончания работал в Волжско-Бакинском нефтяном обществе конторщиком, счетоводом, помощником бухгалтера. Одновременно по вечерам учился экстерном в гимназии.
С 1921 года обучался в Московской горной академии на металлургическом факультете (которую окончил в 1927), был секретарем партийного бюро академии. В 1929—1930 годах находился в командировке на металлургических заводах в Германии, Чехословакии и Италии.
Член КПСС с 1918 года. В 1919 году был секретарём подпольного Городского райкома РКП(б) в Баку.
Участник подавления Кронштадтского мятежа(1921).
Делегат 10-го съезда Советов (23—27 декабря 1922) в Москве.
С 1927 года — инженер, затем главный инженер на заводе «Электросталь» Московской области.
В 1931—1936 годах управляющий объединением заводов качественных сталей и ферросплавов «Спецсталь».
В 1936—1939 годах начальник главка, 1-й заместитель наркома оборонной промышленности СССР.
В 1940—1948 годах нарком, затем министр чёрной металлургии СССР.
В 1948—1949 годах министр металлургической промышленности СССР.
В 1949—1956 годах заместитель председателя Совета Министров СССР, одновременно в 1950—1953 годах министр чёрной металлургии СССР.
С 1956 до смерти — посол СССР в Японии.
Делегат 16-го—20-го съездов КПСС; в 1930—1934 годах член ЦКК, с 1939 года — член ЦК КПСС. Кандидат в члены Президиума ЦК КПСС в 1952—1953 годах.
Депутат Верховного Совета СССР 1—5-го созывов.
Скончался 30 марта 1958 года. После смерти был кремирован, прах помещён в урне в Кремлёвской стене на Красной площади в Москве.
Иван Тевосян послужил прототипом героя романа Александра Бека «Новое назначение».