Родился в Двинске, в семье книжного переплетчика Мовше Берковича Гершова (р. 1881) и его жены Эстер Элиевны Гершовой.
Когда ему было четыре года его семья поселилась в Витебске. Учился в религиозном и светском училищах. Учился у известного художника Ю. Пэна, затем в Свободных государственных художественных мастерских, ставших позднее известным Витебским художественно-практическим институтом.
C 1922 жил и учился в Петрограде, в Школе общества поощрения художников (до революции известное как Императорское художественное училище). Ученик П. Филонова (1925-27), затем — К. Малевича.
В 1930 году прошла его первая персональная выставка в Ленинграде. Работает художником-оформителем.
В 1930-е и в 1948 году был сослан. Чл. Московской организации Союза художников (1934). Работал в Окнах ТАСС.
Известны его работы как театрального художника (БелГОСЕТ). В 1956 году реабилитирован.
В 1965 и 1972 годах выставлялся за границей.
Дядя ленинградской художницы Инны Гершовой-Слуцкой (р. 1956, Черновцы).
Марк Шагал сказал о Гершове:
Вы искренне ищете правду в искусстве — и это главное