Аркин родился в семье ортодоксальных евреев. В молодости мечтал о музыкальной карьере, солировал в фолк-группе «The Tarriers». В начале 1960-х с успехом дебютировал на Бродвее, за один из первых же спектаклей был удостоен премии «Тони». В драме «Дождись темноты» сыграл психопатичного мучителя героини Одри Хепберн. За роль лейтенанта Розанова в комедии «Русские идут, русские идут» (1966) выиграл «Золотой глобус».
В 1972 г. Аркин руководил первой постановкой пьесы Нила Саймона «Комики», ставшей со временем бродвейской классикой. Также опубликовал несколько детских повестей в жанре фэнтези. Снимался во множестве фильмов различных жанров — от культовой «Уловки-22» (1970) до макабрической сказки «Эдвард Руки-ножницы» (1990). Одну из последних ролей сыграл в комедии «Напряги извилины» (2008).
Трое сыновей Аркина от трёх браков — актёры. Из них наиболее известен Адам Аркин (сериалы «Надежда Чикаго» и «Детектив Монк»).
Впервые номинировался на «Оскар» в 1966 году, выиграл его с третьей попытки 40 лет спустя — за роль неравнодушного к порно и героину деда в фильме «Маленькая мисс Счастье» (2006).