Родился в городе Кутаисе в семье рабочего. С 1915 года трудился на предприятиях города Хони, последнее место работы — рабочий местного кожевенного завода (с 1918 года).
С 1924 года в Красной Армии, там же в 1927 году стал членом ВКП(б). В 1937 году окончил Ленинградскую военно-политическую академию им. В. И. Ленина.
С 1937 года находился на военно-политической работе. В 1939—1940 годах участвовал в Советско-финляндской войне в звании начальника политотдела армии и комиссара штаба армии. За бои на Петрозаводском направлении награждён орденом Красного Знамени. С 1940 года — начальник политуправления Прибалтийского особого военного округа, бригадный комиссар.
После начала Великой Отечественной войны в качестве командира отдельных войсковых соединений стал членом военных советов ряда армий; в 1945—1953 годах являлся членом военных советов Харьковского, Киевского и Прикарпатского округов. Генерал-лейтенант (1944 год).
В 1953—1972 годах являлся первым секретарём ЦК Компартии Грузии. На XX, XXII—XXIV съездах партии избирался членом ЦК КПСС (1956—1976); кандидат в члены Политбюро (Президиума) ЦК КПСС (29.06.57—18.12.72). Депутат Верховного Совета СССР 4 — 8 созывов. Герой Социалистического Труда (1962 год).
С сентября 1972 года — на пенсии. В последние годы жизни проживал на подмосковном дачном посёлке Жуковка, недалеко от дачи В. М. Молотова.
Мжаванадзе был снят с должности и заменён на Э. А. Шеварднадзе по обвинениям в коррупции и покрывании деятельности цеховиков. Не исключено, что часть данных обвинений была сфальсифицирована.
Являлся сторонником создания музея Сталина в Гори.