Родился в Санкт-Петербурге в семье коммерсанта. Учился в 10-й петербургской гимназии, был членом революционного кружка. Участвовал в собрании общеученических организаций, происходившем в декабре 1912 года в частной женской гимназии Витмера. После этого Рошаль вместе с другими был исключён из гимназии и с этого времени занимался революционной работой. В 1914 году вступил в РСДРП.
Революционную деятельность Рошаль начал в Нарвском районе Петрограда — в больничной кассе Путиловского завода. Во время Первой мировой войны работал в доме графини Паниной на Обводном канале. В это же время Рошалю с большим трудом удалось попасть в Психоневрологический институт, где он активно работал среди студентов.
В сентябре 1915 года Рошаль был мобилизован и отправлен на Северный фронт. В декабре 1915 года, отпущенный с фронта в отпуск, приехал в Петроград, где был арестован за революционную пропаганду на фронте. Находился в заключении в тюрьме «Кресты».
Освобождён из тюрьмы во время Февральской революции. Был отправлен в Кронштадт, где в марте 1917 года был избран председателем горкома РСДРП (б) и членом исполкома Кронштадтского совета. Играл ключевую роль в привлечении балтийских матросов на сторону большевиков. В июле 1917 года Рошаль был арестован правительством Керенского вместе с Л. Д. Троцким, Ф. Ф. Раскольниковым и др. и вновь заключён в «Кресты». Освобождён 26 октября (8) ноября 1917 во время октябрьского переворота.
В октябре 1917 г. — комиссар сводного отряда солдат и матросов при подавлении выступления Керенского-Краснова под Петроградом.
Участник захвата Ставки Верховного Главнокомандующего и убийства генерала Н. Н. Духонина.
В декабре 1917 года был направлен Лениным в качестве комиссара Совнаркома на Румынский фронт для организации фронтового военно-революционного комитета. В ходе переговоров с командующим фронтом генералом Д. Г. Щербачёвым был арестован румынскими властями по обвинению в подготовке восстания в русской колонии в Яссах. 8 (21) декабря 1917 г. был выдан членам тайной офицерской организации, действовавшей на Румынском фронте, и расстрелян.