Снявшись в шести фильмах вместе со своим знаменитым отцом, Оливье по его собственному признанию понял, что актерское ремесло не является его призванием. После ряда успешных ролей он покинул кино и стал пилотом пассажирских рейсов Air France. В августе 2010 года ушел на пенсию в должности шеф-пилота самолетов типа Airbus A320.
В 1977 году женился на Доминик Ватрен (род. 1956), имеет троих детей — дочь Жулию (род. 1979) и сыновей-близнецов Адриана и Шарля (род. 1996).