Эмигрировал с родителями в 1920 году. Окончил русскую гимназию в Париже и филологический факультет Сорбонны (1929). Входил в поэтические объединения «Круг» и «Перекрёсток», активно выступал в парижской периодической печати со стихами и литературно-критическим статьями (в том числе и на французском языке). С 1939 года после смерти В. Ходасевича вёл критический отдел в газете «Возрождение». С 1935 года был женат на дочери композитора И. Ф. Стравинского Людмиле Игоревне Стравинской (в замужестве Мандельштам, 1908—1938).
Арестован в Париже как еврей 10 марта 1942 года, отправлен в концлагерь Дранси, в июле 1943 года переведён в Польшу, где погиб в концлагере Явожно.
При жизни опубликован сборник критических статей «Искатели» (1938) и сборники стихов «Остров» (1930), «Верность» (1932), «Третий час» (1935). Посмертно опубликован сборник «Годы» (1950), составленный ещё им самим. В Шанхае вышел сборник статей «Искатели» (1938).
Полное собрание стихотворений опубликовано в 1990 году в Гааге.
На кладбище Сент-Женевьев-де-Буа находится кенотаф Ю. В. Мандельштама.