Родился в семье директора народной школы, украинца, и домохозяйки, немки. После смерти отца, в 1859 году, из-за затруднительного материального положения, его мать с детьми переехала в Стрый, где вынуждена была наняться на работу. Там Иван Левинский закончил четыре класса начальной школы. На дальнейшее обучение не было средств, поэтому он был вынужден зарабатывать самостоятельно. Имея хороший голос, он устроился певчим в церкви. При поддержки старшего брата, у него появилась возможность переехать во Львов и закончить Львовскую реальную школу, в которой давались некоторые знания технически-прикладного характера. В 1868 году Левинский вступил во Львовскую техническую академию на строительный отдел, а по окончании её с отличием в 1875 году был оставлен при ней, как научный сотрудник.
В 1880-х гг. организовал архитектурно-проектную мастерскую вместе с архитекторами А. Лушпинским, Л. Левинским, Т. Обминским и др. С 1903 — профессор архитектуры Львовской политехнической школы, от 1909 — профессор Политехники. Входил в состав совета украинского Национального музея во Львове. В 1914 был выслан властями российского Галицийского губернаторства в Киев, где построил деревянную униатскую церковь в гуцульском стиле. По возвращении в 1918 во Львов основал агрономо-техническое общество «Праця».
Спроектировал и построил много зданий в Галиции. В своем творчестве придерживался принципов модерна и использовал приемы и формы украинской народной архитектуры Гуцульщины, Бойковщины и Приднепровья. Среди зданий, сооруженных строительной компанией Левинского или спроектированных им самим во Львове: дом «Академической общины» (теперь здание Львовской академии искусств), дом акционерного общества «Днестр» (теперь городская поликлиника № 1), дом бурсы Украинского педагогического общества (соавтор), дом музыкального института им. Н. Лысенко, общежитие русского Народного дома, главный железнодорожный вокзал и другие. Фирма Ивана Левинского первой в Галиции применила железобетонные конструкции в сооружении зданий (Львовский оперный театр, железнодорожный вокзал) и гипсовые плиты для стен и перегородок, долго была единственной в крае, изготавливавшей гипс в промышленных масштабах. Компания построила Торгово-промышленную палату, павильон Галиции на Всемирной выставке в Париже, львовские гостиницы и банки. На международной выставке в Одессе в 1911 году керамика и строительные изделия фирмы Левинского были отмечены золотой медалью «Императорского российского технического общества».
В начале XX века на предприятиях Ивана Левинского работала почти тысяча человек, рабочий день у которых продолжался 16 часов. В 1894—1914 годах фирма Левинского имела исключительное право на поставку облицовочного и строительного кирпича для правительственных зданий Австро-Венгрии. В 1918 году новая, польская администрация отказалась рассчитываться с Левинским за выполнение австрийских госзаказов из-за его антипольской деятельности (организация военизированных подразделений Украинских сечевых стрелков, сотрудничества с ЗУНР и украинскими деятелями). Это развалило предприятие Ивана Левинского и вскоре вызвало его смерть от инфаркта. Умер в 1919 году во Львове, похоронен на Лычаковском кладбище.