Гольденберг родился в 1846 году в ортодоксальной еврейской семье. В 1865 году, порвав со своей семьей ради светского образования, он поступил на физико-математический факультет Харьковского университета, а два года спустя перевелся в Технологический университет в Санкт-Петербурге, где изучал химию. После участия в студенческих волнениях 1868-69 гг. Гольденберг в 1869 году был выслан в Темников. Здесь к ссыльному революционеру сочувственно отнеслись два молодых учителя уездного училища, подыскавших ему для репетирования ученика — сына богатой помещицы. Однако исправник постарался отправить его из города в еще большую глушь — село Бедишево Темниковского уезда, где Гольденберг некоторое время работал в маленькой химической лаборатории при суконной (ковровой) фабрике князя Енгалычева.
В июле 1872 года он бежал за границу, в Швейцарию, где заведовал типографией русских политэмигрантов. В 1880 году перебрался в Англию. В мае 1876 года в Лондоне вместе с А. Либерманом Гольденберг создал Общество еврейских социалистов. С 1887 по 1895 гг. Гольденберг проживал в Нью-Йорке. Был одним из наиболее деятельных участников американской колонии политэмигрантов. По мнению агента Департамента полиции Сергеева (А. Эваленко), «Гольденберг вообще человек очень серьёзный. Владея основательно английским языком, он все силы употребляет на то, чтобы возбудить общественное мнение Америки против русского правительства. Он занимается исключительно «русскими делами». Если из России приезжает кто-то с революционным прошлым, он обращается к Гольденбергу».
Весной 1887 года Л. Гольденберг и другие русские политэмигранты из Нью-Йорка — Н. Алейников, Л. Гартман, Б. Горов, организовали «Российско-американскую национальную лигу» (РАНЛ). Лига выступала против утверждения российско-американского экстрадиционного договора 1887 года американскими властями.
С августа 1890 по июнь 1894 года Гольденберг являлся издателем американского издания журнала «Free Russia». С июля 1891 по июнь 1894 года журнал был печатным органом американского Общества друзей русской свободы. Вел активную переписку с русскими политэмигрантами из Лондона — C. М. Степняком-Кравчинским, Ф. В. Волховским и Н. В. Чайковским. Сохранилась переписка Гольденберга с соратниками по американскому Обществу друзей русской свободы — казначеем Ф. Гаррисоном и секретарем Э. Ноблом. В конце 1891 года Гольденберг выступил инициатором сбора денег среди американцев для голодающего населения России. По его просьбе прием средств организовал казначей Общества друзей русской свободы Ф. Гаррисон. После прекращения издания журнала «Free Russia» Гольденберг переехал в Лондон. Работал в Фонде вольной русской прессы. Несмотря на обширное эпистолярное наследие, Гольденберг не увлекался публицистикой и журналистикой. Подготовка к печати революционных изданий и их распространение были его основным занятием в эмиграции вплоть до самой смерти в Лондоне в 1916 году.