Родившись в Лондоне, О’Лири с трехлетнего возраста жил в Дублине, поскольку отец был ирландцем. С 1973 года играл в юношеских и резервных командах «Арсенала». Дебют в главной команде состоялся в августе 1975 года. C того времени он стал одним из основных игроков клуба. Славился элегантной игрой в защите. Вместе с «Арсеналом» трижды подряд выходил в финал кубка Англии: 1978, 1979 и 1980 годов. На чемпионате мира 1990 года в матче ? финала против сборной Румынии Дэвид О’Лири забил решающий мяч в серии послематчевых пенальти, и Ирландия попала в четвертьфинал. Это самый высокий результат ирландской сборной за всю историю. После девятнадцати лет игры в «Арсенале» О’Лири летом 1993 года переходит в «Лидс Юнайтед». Сыграв всего несколько матчей в сезоне 1993/94 годов, он получил тяжелую травму, которая в конечном итоге заставила его прекратить игровую карьеру. Нашёл себя на тренерском поприще, возглавлял клубы английской Премьер-Лиги.