В 1975 году перешёл в «Астон Виллу» из шотландского «Данди Юнайтед». Отыграл в ней 4 сезона. 15 декабря 1975 сыграл первый матч за сборную Шотландии. Очень успешным в его карьере стал сезон 1976/77, в течение которого он, вместе с командой, выиграл Кубок лиги, а также вместе с Макдональдом стал лучшим бомбардиром сезона, забив 29 мячей.
В том же году получил премию ПФА как игрок года, а также как молодой игрок года. И стал первым футболистом, получившим эти две премии в один год, и одним из двух, вместе с Криштиану Роналду, кто получил 2 премии в один год, за всю историю её существования. Энди Грэй также стал лучшим бомбардиром своей команды в следующем сезоне. Выступая за «Данди Юнайтед», был лучшим бомбардиром Шотландии в сезоне 1974/75.
В 1979 году был продан в «Вулверхэмптон». С новым клубом выиграл Кубок лиги в 1980 году. С 1983 по 1985 играл за «Эвертон», с которым он выиграл Кубок Англии в 1984 году, забив гол в финале, а год спустя стал чемпионом Англии и обладателем Кубка Кубков, также забив гол в финале. В 1985 году вернулся в «Астон Виллу», однако уже не демонстрировал такой результативности, как раньше. В 1987 был отдан в аренду в «Ноттс Каунти». Затем играл за «Вест Бромвич Альбион» и «Рэйнджерс».
«Данди Юнайтед»
«Астон Вилла»
«Вулверхэмптон»
«Эвертон»
«Рейнджерс»