Родился в селе Гвардейцы, Борского района Куйбышевской области, в семье крестьянина. С 1936 года жил и учился в подмосковном совхозе «Чашниково», куда перебралась семья после смерти отца. Там же застала их начавшаяся Великая Отечественная война.
В декабре 1941 года отступающие гитлеровские войска сожгли дом Губаревых. Семья вынуждена была перебраться сначала в подмосковные Химки, а потом вернуться в родное село Гвардейцы. После окончания войны Губаревы перебрались в Крюково.
В 1950 году Губарев закончил среднюю школу в Крюкове и поступил в Морское авиационное училище техников. Узнав, что в училище готовят обслуживающий персонал, добился при первой возможности перевода в Военно-морское минно-торпедное авиационное училище. После окончания в 1952 году училища служил в частях ВВС СССР.
В 1961 году окончил Военно-воздушную академию и получил назначение в авиацию Черноморского флота, где и служил до зачисления в отряд космонавтов командиром эскадрильи.
В 1963 году зачислен в отряд советских космонавтов (1963 Группа ВВС № 2). Прошёл полный курс общекосмической подготовки. Проходил подготовку по советской лунной программе, в составе группы осваивал военно-исследовательский вариант космического корабля «Союз» (корабль 7К-ВИ). В дальнейшем готовился к космическим полётам на кораблях типа «Союз» и орбитальных станциях типа «Салют» (ДОС).
В сентябре 1973 года был командиром дублирующего экипажа (вместе с Георгием Михайловичем Гречко) при полете космического корабля «Союз-12». Свой первый полёт совершил с 11 января по 9 февраля 1975 года вместе с Гречко в качестве командира космического корабля «Союз-17» и орбитального комплекса «Салют-4» — «Союз-17» (позывной — «Зенит»). Продолжительность пребывания в космосе составила 29 дней 13 часов 19 минут 45 секунд.
С 1976 года проходил подготовку по программе сотрудничества с социалистическими странами «Интеркосмос». Второй полёт совершил со 2 по 10 марта 1978 года вместе с чехом Владимиром Ремеком в качестве командира космического корабля «Союз-28» (позывной — «Зенит»). Это был первый пилотируемый полёт по программе «Интеркосмос». Космонавты работали на борту орбитального комплекса «Салют-6» — «Союз-27» — «Союз-28» вместе с Юрием Викторовичем Романенко и Г. М. Гречко. Продолжительность пребывания в космосе составила 7 дней 22 часа 16 минут. За 2 полёта в космос налетал 37 дней 11 часов 35 минут 45 секунд. В 1981 году покинул отряд космонавтов, но продолжал службу на командных должностях в Центре подготовки космонавтов имени Ю. А. Гагарина. В 1980-х годах был заместителем начальника 30-го Центрального научно-исследовательского института Министерства обороны. В настоящее время в отставке.
Член КПСС с 1957 по 1991 годы. Генерал-майор авиации (1983).
Почётный гражданин городов Калуга (Россия), Аркалык, Целиноград, Павлодар, Экибастуз (Казахстан), Прага (Чехия)
Именем Алексея Губарева названа малая планета № 2544.
Автор книги «Притяжение невесомости» (М., 1982).