Рудольф Ольшевский родился в Белоруссии, куда его родители были направлены на работу из Одессы. Семья вернулась в Одессу, когда будущему поэту было около года. В годы Великой Отечественной войны — в эвакуации с матерью, Зиновией Генриховной; отец погиб на фронте. После окончания одесской средней школы в 1956 году Рудольф Ольшевский поселился в Кишинёве, с которым связана вся его дальнейшая творческая судьба.
На протяжений нескольких десятилетий Рудольф Ольшевский работал в редакциях газеты «Молодёжь Молдавии» и литературного журнала «Кодры». В 1960—1970-е годы руководил литературным объединением «Орбита» при молодёжке, в котором началась литературная деятельность Евгения Хорвата, Наума Каплана (1947—1978), Бориса Ройтблата, Виктора Панэ (род. 1954), Александра Фрадиса, Кати Капович, Бориса Викторова (Друкер, 1947—2004), Александры Юнко, Александра Бродского (Микки Вульф), Светланы Мосовой и многих других местных литераторов.
Главным образом в Кишинёве были изданы более двадцати книг поэзии, публицистики, художественной прозы, стихотворных переводов писателя, в том числе 5 фантастических романов. Автор поэтических сборников «Расколдуй-трава», «Третий полюс», «Высокие колокола» (1971), «Уходит лето», «Полночные костры» (1976), «И снова осень», «Тень птицы» (1982), «Всё это было на земле» (1985), «Красная ягода», «Называю себя» (1986), «Возраст хмеля», сборника стихов для детей «Хвостатая азбука» с иллюстрациями Марины Андрухиной, романов «Господи помилуй» и «Два солнца Фьюри» (2000), книги рассказов «Поговорим за Одессу» (2001).
Рудольф Ольшевский написал либретто к опере молдавского композитора Эдуарда Лазарева «Дракон» по пьесе-сказке Евгения Шварца, составил два выпуска литературного альманаха «Ветка Иерусалима». Среди переведённых им и изданных отдельными книгами молдавских поэтов — Спиридон Вангели и Георге Водэ («Открытие колодца», 1978). В переводах с идиша вышли сборник стихотворений Мойше Лемстера «Еврейский дождь» (1997), книга новелл Ихила Шрайбмана «Творения и любовь» (2000), исторический роман Бориса Сандлера «Глина и плоть» о Кишинёвском погроме 1903 года (2003). В 2000 году в переводах Р. А. Ольшевского с идиша была издана книга «Летящие тени», вобравшая в себя стихи пяти еврейских поэтов Бессарабии — Элиэзера Штейнбарга, Зейлика Бардичевера, Янкева Штернберга, Мотла Сакциера и Герцла Ривкина.
С 2000 года Рудольф Ольшевский жил в Бостоне (США).
Сын Р. А. Ольшевского — американский математик в области функционального анализа (род. 1961, Кишинёв) — профессор Университета Коннектикута.