Член ЦИК СССР 1—7 созывов, член ЦК ВКП(б) (1920—1937), член Политбюро ЦК ВКП(б) (1926—1932), кандидат в члены Политбюро ЦК ВКП(б) (1923—1926, 1934—1937), член Оргбюро ЦК ВКП(б) (1921—1922, 1923—1924), кандидат в члены Оргбюро (1921, 1922—1923), секретарь ЦК ВКП(б) (1923—1924).
Родился 3 (15) августа 1887 г. в 4 часа дня в крестьянской семье Эрнеста Рудзутака и его жены Эльке. Латыш по национальности, в свидетельстве о рождении записан как «Jannis Rudsutaks». Член РСДРП с 1905, придерживался большевистских взглядов, c 1906 член Рижского комитета РСДРП. С 1907 во главе Виндавской партийной организации, арестован, в 1909 приговорён военным судом к 15 годам каторги (ввиду несовершеннолетия срок был сокращён до 10 лет), отбывал наказание в Рижском централе и Бутырской тюрьме в Москве. После освобождения, во время Февральской революции, — секретарь Всероссийского центрального совета профсоюза текстильщиков, член Президиума Московского Совета профсоюзов.
После Октябрьской революции в 1917—1920 председатель Московского совнархоза, член Президиума ВСНХ, председатель Центротекстиля, председатель ЦК профсоюза рабочих транспорта, председатель Туркестанской комиссии ВЦИК и Туркестанского бюро РКП(б), член Президиума и генеральный секретарь ВЦСПС. В 1921 был участником т. н. «Дискуссии о профсоюзах», где поддержал платформу В. И. Ленина против Л. Д. Троцкого и Н. И. Бухарина.
1924—1930 — нарком путей сообщения СССР.
1926—1937 — заместитель председателя СНК и СТО СССР.
С 1931 — председатель ЦКК ВКП(б) и нарком РКИ СССР.
24 мая 1937 был арестован по обвинению в «контрреволюционной троцкистской деятельности и шпионаже в пользу нацистской Германии». На допросах неоднократно подвергался пыткам и избиениям, но виновным себя не признал и показаний не дал. Военной коллегией Верховного суда СССР приговорен к смертной казни. Расстрелян 29 июля 1938 года. В 1956 полностью реабилитирован и восстановлен в партии.
Одно время широкое распространение имел слух о том, что якобы Ленин перед смертью видел своим преемником именно Рудзутака. В своих мемуарах Микоян утверждает, что Ленин предлагал Рудзутака на должность Генерального секретаря вместо Сталина. Писала об этом и Ольга Шатуновская.