Родился 28 декабря 1927 года в Киеве в семье скрипача, которого арестовали, когда Олегу было два года. С самого раннего детства писал музыку. В 7 лет однажды сыграл в присутствии Иосифа Сталина. В будущем этот эпизод спас его отца от лагерей.
Окончил музыкальное училище по классу фортепиано при Ленинградской консерватории в 1945 году. В марте 1943 г. принял участие в концерте юных музыкантов в рамках празднования 80-летия консерватории в Ташкенте. В 1945—1951 годах учился в Ленинградской государственной консерватории (ныне Санкт-Петербургская государственная консерватория имени Н. А. Римского-Корсакова) по классу фортепиано (педагог Самарий Савшинский).
С 1953 года работает в кино, хотя сам утверждает, что начал работать в кино потому, что это было единственным его творчеством, которое не запрещало КГБ. До 1990 года Каравайчук был известен только как композитор для кино и театра, его концерты запрещались, периодически преследовалась вся его семья, его сочинения изымались, до сих пор многие не выпущены и хранятся в архивах. Это привело к тому, что композитор начал вести закрытый образ жизни, который и ведёт до сих пор. Многие произведения Каравайчука не известны в России, однако котируются за её пределами: в частности, он создал музыку для нескольких балетов. Сотрудничал с Сергеем Параджановым, Василием Шукшиным, Ильёй Авербахом, Кирой Муратовой («Короткие встречи», «Долгие проводы») и др. Каравайчук также сотрудничал с авангардистами, в частности с Сергеем Курёхиным.
В настоящее время Каравайчук иногда выступает в Петербурге, при этом, несмотря на финансовые трудности, отказываясь от всех коммерческих проектов, работая только в тех проектах, которые его заинтересуют творчески. Каравайчук нередко участвует в перформансах, синтезирующих его музыку, классический и современный балет, поэзию и видео. Его почерком стало эпатажное выступление с наволочкой на голове, игра на рояле лёжа или на коленях. Сам композитор объясняет это ненавистью ко всему миру и желанием остаться только со своей музыкой. Его основное направление работы — импровизационное сочинение: в присутствии зрителей он садится за рояль, сочиняя произведение по ходу самой игры. Два крупнейших театра Петербурга: «Александринский» и МДТ — «театр Европы» используют специально написанную музыку композитора к спектаклям: «Изотов» и «Бесы»
Проживает в Санкт-Петербурге, в пригороде Комарово.
Всего более 150 документальных и игровых лент.