Окончил классическую гимназию в Витебске. Член Бунда с 1904 года. Окончил юридический факультет Петербургского университета, где учился в 1906—1910 годах.
В 1912 г. переехал в Москву, где сначала работал присяжным поверенным.
В 1920—1922 годах работал в Наркомпросе. В 1921 году — профессор Московского университета (по предмету экономической доктрины Маркса). Как пишет Краткая еврейская энциклопедия, Рубин считался вторым после Бухарина теоретиком по экономическому наследию К. Маркса.
Преподавал политическую экономию в 1-м Московском Университете, Институте красной профессуры, Институте народного хозяйства и Свердловском университете.
С февраля 1921 года несколько арестован ВЧК, по ходатайству видных большевиков А. В. Луначарского, М. Н. Покровского, В. П. Волгина, Н. М. Лукина несколько раз освобождался из заключения.
С весны 1923 г. по осень 1926 г. под арестом.
В 1926—1930 годах работал в Институте К. Маркса и Ф. Энгельса.
В конце декабря 1930 года он был арестован и приговорен к пяти годам заключения, замененных ссылкой в Казахстан.
19 ноября 1937 г. был снова арестован в г. Актюбинске и приговорён к расстрелу, приговор приведён в исполнение немедленно. Реабилитирован в 1989—1991 гг.
Жена Полина Петровна Рубина (1884—1958).