Член ВКП(б) с 1929 года, член ЦК КПСС (1952—56 гг.). Депутат Верховного Совета СССР (1941—58 гг.).
Родился в бедной крестьянской семье; в 1910—13 — учился в начальной школе. В 1917 окончил двухклассное казахско-русское училище. В 1917—19 батрачил у баев. С декабря 1919 — учитель.
В 1921—23 — секретарь Текинского волостного исполнительного комитета. В 1923—26 годах работал в органах уголовного розыска. В 1926—28 — ответственный секретарь Петропавловского окружного комитета союза «Кошчи».
В 1928—38 — на оперативной работе в органах ОГПУ-НКВД. С 1936 — заместитель начальника областного Управления НКВД (Северо-Казахстанского, в 1938 — Алма-Атинского).
В 1932—1933 учился в Московском институте востоковедения имени Нариманова.
С 1938 года — третий, с 1939 года — второй, в 1946—54 — первый секретарь ЦК КП Казахстана.
С 1950 по 1954 годы — Председатель Совета Национальностей Верховного Совета СССР. Сталин называл Жумабая Шаяхметова «Орёл Востока».
На Февральском (1954 года) пленуме ЦК КП Казахстана за несогласие с масштабом предлагаемой программы массового освоения целины был снят с должности: «Недостатки в руководстве промышленностью, сельским хозяйством, идеологической и организационно-партийной работой. Новые условия требуют новых масштабов и методов работы. В связи с этим…» Учитывая тот факт, что Казахстан должен превратиться в крупнейшую животноводческую базу на востоке СССР согласно принятой ранее программе, Шаяхметов считал: целину надо осваивать постепенно, создавая для этого необходимые условия и возможности, «иначе мы можем потерять свои земли».
С февраля 1954 по май 1955 — первый секретарь Южно-Казахстанского обкома КП Казахстана. С мая 1955 — на пенсии.
В 1930-е годы Ж. Шаяхметов направил К. Сатпаева на работу в Москву, а в 1941 ему возглавить Институт геологических наук в Казахском филиале Академии наук СССР.
Принимал личное участие в судьбе Мухтара Ауэзова
В 1941 в Алма-Ату с Украины пришёл эшелон с детьми. Ж. Шаяхметов обратился к алматинцам с призывом принять детей, так как государству взять их на содержание было не под силу; наутро всех детишек разобрали. Супруги Шаяхметовы усыновили трёхлетнего украинского мальчика Владимира Малько, который впоследствии носил их фамилию.
В 1942 Ж. Шаяхметов пригласил горного инженера Динмухамеда Кунаева из Лениногорска на работу в Алма-Ату, где будущий руководитель ЦК республики был назначен заместителем председателя СНК по промышленности.
В 1955 году состояние здоровья Ж. Шаяхметова ухудшилось, была диагностирована опухоль мозга. В 1957 перенёс операцию удаления опухоли, после которой некоторое время проживал в Москве. Связь заболевания с присутствием Ж. Шаяхметова 29 августа 1949 на Семипалатинском полигоне, где в тот день было успешно проведено испытание первого экспериментального образца ядерного заряда, представляется сомнительной: после операции Ж. Шаяхметов прожил 9 лет, опухоль была доброкачественной.
Жена — Майнур Галиевна Чокабаева (1907—1965).
Дети: