А. Л. Гершун родился в г. Соколка Гродненской губернии (ныне Польша) в интеллигентной еврейской семье. Детские годы провёл в Вильно, где его отец — Лев Яковлевич Гершун (1836—1897) — был главным врачом городской еврейской больницы (в 1873—1897 годах). В 1886 году окончил 1-ю Виленскую гимназию.
В 1886 году поступил на физико-математический факультет Петербургского университета, который окончил в 1890 году. На третьем курсе, он написал свой первый научный труд «Критический разбор исследование вопроса о температуре наибольшей плотности воды и водяных растворах», за которое был награждён золотой медалью.
В 1890—1902 гг. работал в Петербургском университете, где преподавал физику в одной из петербургских гимназий.
В 1891—1892 годах являлся секретарём редакции старейшего русского научно-технического журнала «Электричество» . С 1893 г. тесно сотрудничал с профессором Ф. Ф. Петрушевским — руководителем физического отдела энциклопедического словаря Брокгауза и Ефрона. Написал ряд статей для словаря, и в частности, «Физика».
В 1896 году Гершун А. Л. участвовал в качестве физика-фотографа в Ленской экспедиции Русского астрономического общества, организованной для наблюдения солнечного затмения.
С 1901 года заведовал кафедрой общей физики Артиллерийского офицерского класса в Кронштадте. В эти годы он основательно познакомился с оптическим производством в России и других странах, в том числе изучил технологию изготовления оптических приборов для ВМФ.
С 1906 года сотрудничал с оптическим отделом Обуховского сталелитейного завода сначала в качестве консультанта, затем с 1909 года руководил отделом.
В 1908 г. преподавал в Петербургском женском педагогическом институте.
Научный руководитель Российского общества оптического и механического производства (1912), которое в 1913 г. приступило к строительству оптического завода на Чугунной улице в Петербурге (с 1962 года — Ленинградское оптико-механическое объединение; ныне — ОАО «ЛОМО»); 4 ноября 1914 г. завод начал функционировать. Гершун А. Л. был первым директором завода.
Активно участвовал в становлении оптической промышленности в России. Разработал ряд новых приборов для флота.
Отец физика-оптика Гершуна А. А.. Брат адвоката Гершуна Б. Л.