Яо начал играть за «Шанхайских акул» ещё в подростковом возрасте и выступал за эту команду на протяжении 5 лет, в последний год став чемпионом КБА. В 2002 году он был выбран на драфте командой «Хьюстон Рокетс», имевшей право 1-го выбора. До этого лишь 2 китайца играли в этом турнире. С первого же сезона Яо ежегодно участвует в матче всех звёзд. Несмотря на это, «Рокетс» ни разу не добивались каких-либо значительных успехов на стадии плей-офф, а последние три года китайского гиганта мучают травмы. Из-за травм Яо пропустил весь сезон 2009—2010 года и не сыграл на чемпионате мира 2010 года в Турции.