Академик Императорской Академии наук.
Племянник Гмелина-старшего.
Изучал медицину в Тюбингенском университете.
В 1766 приглашён в Санкт-Петербург, в 1767 — профессор ботаники Санкт-Петербургского университета.
По поручению Академии наук предпринял в 1768 путешествие для изучения прикаспийских стран. По Дону путешествовал некоторое время с Гюльденштедтом.
В 1769 посетил Черкасск и Астрахань.
В 1770 морем отправился в Дербент, отсюда сухим путём в Баку, Шемаху и Сальяны, затем морем в Энзели.
В 1771 был в Реште и Балфруше.
В начале 1772 вернулся в Астрахань, откуда направился через Сарепту в Куманскую степь и Моздок; затем Тереком и степью вернулся в Астрахань.
В июне 1772 снова выехал морем в Персию, в сопровождении нескольких помощников и военной команды из 40 человек. Осмотрев восточный берег моря до Энзели, Гмелин намеревался сухим путём пройти в Кизляр. Но, выехав из Дербента, он был ограблен и задержан хайтыцким ханом Усмеем, в расчёте получить за него выкуп. От всевозможных лишений Гмелин заболел и в 30 лет умер в Ахметкенте, где находился в заточении.
Главное сочинение Гмелина — Reise durch Russlaud zur Untersuchung d. drei Naturreiche (СПб., 4 части, 1770—1784), с чертежами, рисунками животных и растений, типов и прочего. Часть I содержит описание путешествия от Санкт-Петербурга до Черкасска; часть II — от Черкасска до Астрахани, с подробным описанием города Астрахани, Волги, рыболовства и прочего; часть III — описание северной Персии (с современным Закавказьем); в части IV, вышедшей в 1784 году в обработке П. С. Палласа, помещён дневник последнего путешествия Гмелина и краткая его биография, составленная Палласом.