Имре Варга получил образование в Будапештской военной академии и во Вторую мировую войну служил офицером в военной авиации. В 1945 году Варга вернулся из плена на родину и посвятил себя изобразительному искусству. В 1950—1956 годах Варга учился в Венгерской академии изобразительных искусств в Будапеште.
Имре Варга преимущественно известен своими разнообразными скульптурными работами. Среди них — скульптурные портреты Ференца Ракоци, Михая Каройи, Ференца Листа, памятник жертвам холокоста в Будапеште. В СССР Имре Варга стал известен в 1980 году после скандальной публикации на обложке журнала «Иностранная литература» фотографии немыслимого в то время по своему замыслу памятника В. И. Ленину работы Имре Варги, где вождь мирового пролетариата изображён маленьким старичком в кепке, отвернувшимся от огромного знамени с собственным портретом и уходящим вниз по лестнице. Работы Имре Варги представлены в девяти странах мира. В Будапеште работает музей Имре Варги.
Памятник Ференцу Ракоци в Бад-Киссингене
«Гуляющие под дождём» в Обуде недалеко от музея Имре Варги
Памятник Беле Бартоку в Мако
Памятник жертвам холокоста в Будапеште