Родился в семье выходца из местечка Свислочь (ныне Могилёвская область Белоруссии) коммивояжёра Бориса Владимировича Баршая и Марии Давидовны Баршай (урождённой Алексеевой), дочери купца, субботника, чей отец принял Иудаизм, будучи священником в Казачестве, в середине 19 века .
Учился в музыкальной школе при Ленинградской консерватории (скрипка, альт). Закончил Московскую консерваторию по классу альта (1948).
Как альтист выступал вместе с С. Рихтером, Д. Ойстрахом, Л. Коганом, И. Менухиным. В 1945—1953 годах был альтистом и одним из создателей Квартета имени Бородина, одновременно в 1948—1956 годах играл на альте в Квартете имени Чайковского.
В 1955 году создал Московский камерный оркестр, которым руководил и дирижировал до 1977 года, когда переехал в Израиль и возглавил Израильский камерный оркестр. В 1982—1988 годах руководил Борнмутским симфоническим оркестром.
С 1986 года обосновался в Швейцарии. Выступал с Лондонским симфоническим и Королевским филармоническим оркестрами, оркестром «Филармония», Национальным оркестром Франции, Оркестром Западногерманского радио, Симфоническим оркестром Токио и многими другими. С 1981 - 1983 возглавлял Ванкуверский симфонический оркестр.
Скончался 2 ноября 2010 года в Базеле. Похоронен на Александровском кладбище в Иркутске.
В репертуаре Баршая-дирижёра — произведения Моцарта (Баршай один из лучших в мире интерпретаторов Моцарта), Вивальди, И. С. Баха, Гайдна, Боккерини, Генделя, Малера, Петра Чайковского Прокофьева, Белы Бартока, Шостаковича (цикл всех симфоний с Оркестром Западногерманского радио), М. Вайнберга, Бориса Чайковского. Баршай одним из считанных дирижеров последовательно исполнял произведения Александра Локшина.
Баршаю принадлежит ряд известных оркестровок — в частности, несколько так называемых Камерных симфоний Дмитрия Шостаковича (оркестровка струнных квартетов № 1, 3, 4, 8, 10), — а также одна из версий завершения финальной фуги из «Искусства фуги» И. С. Баха и одна из версий завершения Десятой симфонии Густава Малера.
Лауреат премии «Граммофон» (1988), Каннской премии за классическую музыку (2003) и др.
Первая жена (1947—1953) — вторая скрипка квартета им. Бородина Нина Баршай (сын — Лев Баршай).
Третья жена (1966—1974) — переводчица из Японии Таруко Сода, сын — Такэси Сода (род. 1967), уролог.
Четвёртая жена (с 1986 года) — органистка и клавесинистка Елена Раскова, выпускница Московской консерватории по классу органа Леонида Ройзмана и фортепиано Якова Мильштейна.
Племянник Рудольфа Баршая (сын его двоюродного брата — Бориса Борисовича Эпштейна) — музыкальный руководитель Хора Турецкого, народный артист России Михаил Борисович Турецкий.