В 1929 году закончил Любавическую Ешиву, в 1938 году Ленинградский государственный университет (математико-механический факультет), затем аспирантуру МГУ (1941). Участвовал в атомном проекте в Арзамасе-16, откуда был изгнан из-за религиозного образования. Работал в Сухумском физико-техническом институте. Доктор физико-математических наук. Известен своими работами в области теории неполных цилиндрических функций.
С 1992 года проживал в Чарльстоне, штат Южная Каролина, США. Умер в 2005 году.
Агрест впервые выступил со своей гипотезой в июле 1959 года на семинаре Сухумского физико-технического института. Потом, 6 февраля 1960 года, в «Литературной газете» появилась статья «Следы ведут в космос».
Были выдвинуты предположения о существовании в древности контактов инопланетян с Землёй. Были даны нетрадиционные интерпретации ряду фактов, например, что Содом и Гоморра были разрушены в результате ядерного взрыва, произведённого инопланетянами.
Статья имела большой резонанс, в том числе в западной прессе. В советской печати началась травля Агреста как автора антинаучной гипотезы.
Идеи Агреста вдохновили позднейших исследователей, таких, как Эрих фон Даникен (Erich von D?niken) и Захария Сичин (Zecharia Sitchin), которые в следующие десятилетия популяризировали то, что получило название «теория древних космонавтов».