Алжан Жармухамедов родился в казахском селе Таваксай Южно-Казахстанской области недалеко от узбекской границы и Ташкента (в пятидесятые годы этот район в целях централизации хлопководства был передан Узбекской ССР). Его отец Мусурбек — казах, мать Прасковья — русская.
После окончания школы и двух лет работы на заводе в соседнем Чирчике Алжан учился в Узбекском государственном институте физической культуры в Ташкенте (1963—1967), играл за СКА (Ташкент), был привлечён в сборную СССР, стал чемпионом Европы.
Дважды он пытался перейти в алма-атинский «Буревестник», но его возвращали в Ташкент. Спор между двумя республиками за талантливого баскетболиста решила Москва.
С декабря 1969 года он стал играть за ЦСКА, где его и считали узбеком. Но в журнале «Физкультура и спорт», 1972, № 10 в официальном списке чемпионов мюнхенской Олимпиады 1972 года Алжан Жармухамедов обозначен как казах. Таким образом, Жармухамедов является первым казахом — олимпийским чемпионом.
После окончания спортивной карьеры Алжан Жармухамедов пять лет работал тренером в Группе советских войск в Германии, затем был направлен в алма-атинский СКА на должность тренера спортивного клуба по пулевой стрельбе (1987 год).
Уйдя из большого спорта в 2002 году, остался в Москве, тренировал мужскую и женскую команды МосГУ. Вместе с сыном Владиславом создал детско-юношеский баскетбольный клуб «Лаурус».
Сын Владислав (16.11.1969) — бывший баскетболист. Начал тренерскую деятельность в 1995 году.
Сын Сергей (28.06.1976) — бывший баскетболист, играл в командах Суперлиги России (Динамо (Москва); Арсенал; Автодор; Спартак (Санкт-Петербург) и команды Белоруссии. В настоящее время — тренер скаут ЦСКА.