Окончил гимназию в родном городе Вильно, учился в Гейдельбергском и Берлинском университетах. Участник профсоюзного и революционного движения.
До революции Шварц провел под арестом около полутора лет, дважды был в ссылке, три раза его высылали за границу.
Член партии меньшевиков (с 1907), ранее состоял в большевистской партии.
В 1917 г. редактор журнала «Страхование рабочих и социальная политика».
В 1921 году был дважды арестован как меньшевик, а в январе 1922 года выслан за границу.
С 1922 по 1933 годы жил в Берлине, с 1933 по 1940 годы — в Париже, с 1940 по 1970 годы — в США.
С 1970 года жил в Иерусалиме, умер в 1973 году.
Жена Вера Александровна Александрова (урождённая Мордвинова, 1895—1966) — критик, литературовед, публицист, с 1952 по 1956 годы главный редактор нью-йоркского «Издательства имени Чехова»
В предвоенные годы был близок к «ликвидаторам», во время Первой мировой войны и революции 1917 года — примыкал к «оборонцам». После прихода к власти большевиков входил в правое крыло меньшевистского направления.
Работал в Союзе больничных касс Московской области до его закрытия весной 1919 года.
Был одним из руководителей комитета, организовавшего забастовку служащих государственных учреждений Петрограда.
В конце 1919 года стал сторонником Мартова.
По партийной мобилизации служил в Красной Армии, до осени 1920 года — на фронте, затем начальником управления Красного Креста, затем работал в Реввоенсовете Республики. Член Киевского, а затем и Московского комитетов партии.
После эмиграции входил в состав Заграничной делегации РСДРП. Работал в периодически выходившем «Социалистическом вестнике», был его последним главным редактором.
В Нью-Йорке работал профессором «Новой школы социальных исследований» (англ. New School for Social Research), опубликовал несколько десятков научных трудов, в том числе классическую монографию «Labor in the Soviet Union».
Автор книг по истории СССР и профсоюзного движения.
Известен как автор вышедшей в 1966 году в Нью-Йорке книги «Евреи в Советском Союзе с начала Второй мировой войны», в которой доказывал, что в СССР ничего не было сделано для своевременной эвакуации и спасения евреев от фашистов.
На эту книгу ссылался ряд авторов, писавших об истории евреев в СССР, в частности, Александр Солженицын в книге «Двести лет вместе».