Отец — профессор Московской духовной академии Александр Петрович Голубцов (1860—1911), специалист в области литургики и церковной археологии. Мать — Ольга Сергеевна, урождённая Смирнова (1867—1920), дочь протоиерея, ректора Московской духовной академии. Умерла, заразившись оспой, ухаживая за крестьянскими детьми. В семье было 12 детей, в том числе Иван, доктор исторических наук и Николай, известный московский священник. Ещё один сын, Серафим, также был священником.
Детство провёл в Сергиевом Посаде, большое влияние на формирование его личности оказал иеросхимонах Алексий, который, по воспоминаниям архиепископа Сергия, был «выдающимся благодатным старцем» и советовал ему «учиться реставрации поглубже, не разбрасываться, чтобы потом быть серьезным специалистом».
Окончил среднюю школу в Сергиевом Посаде (1923), в 1923—1924 учился живописи у местных художников, тогда же познакомился со священником Павлом Флоренским, присутствовал на его богослужениях, которые запомнились ему глубоким благоговением, одухотворённостью и красотой. С 1924 жил в Москве, где работал в Государственном историческом музее: рисовальщиком, библиографом, с 1929 — художником-реставратором. С 1925 занимался в отделе древнерусской живописи Государственных центральных реставрационных мастерских, которыми руководил академик Игорь Грабарь. Участвовал в реставрационных работах, а также копировал фрески новгородских храмов, которые позднее погибли в годы Великой Отечественной войны.
В 1928—1930 учился на втором и третьем курсах отделения теории и истории изобразительных искусств этнологического факультета Московского государственного университета. Завершить университетское образование ему не удалось из-за ареста в марте 1930 и последующей высылки на три года в Северный край, где он работал художником-декоратором в железнодорожном клубе города Няндома.
В 1933 вернулся в Москву, где был вынужден работать по договорам художником-оформителем. Только в 1940 он вновь смог заняться научно-реставраторской деятельность в Государственном историческом музее. За год он подготовил два научных доклада — «К вопросу о монументальной живописи в бывшем Пафнутьево-Боровском монастыре в связи с его архитектурой» и «Два портрета патриарха Адриана в собрании Государственного Исторического Музея». В начале Великой Отечественной войны, в августе 1941 был призван в армию, служил сержантом в 6-м запасном автомобильном учебном полку, работая батальонным, а затем полковым художником, демобилизован в 1945.
Окончил Московскую духовную семинарию (1947), Московскую духовную академию со степенью кандидата богословия (1951; тема кандидатской работы: «Способы воплощения богословских идей в творчестве преподобного Андрея Рублёва»).
В 1950—1953 — ответственный представитель от Московской Патриархии по реставрации Троицкого собора Троице-Сергиевой лавры. По словам академика Грабаря, «в его лице объединяются знающий археолог, и наделённый большой интуицией искусствовед, и практик-реставратор». Участвовал в реставрации иконостаса и росписи трапезного Успенского храма в Новодевичьем монастыре (1946), возглавлял группу по реставрации «Царских чертогов» Московской Духовной Академии (1946—1947) и бригаду художников, реставрировавших живопись главного купола Богоявленского патриаршего собора в Москве (1947). Позднее, в 1954, участвовал в реставрации настенной живописи в этом соборе и руководил написанием икон для иконостаса кафедрального собора в Ростове-на-Дону.
2 апреля 1950 был пострижен в монашество, 7 апреля 1950 Патриархом Алексием I рукоположен во иеродиакона, а 28 мая — во иеромонаха. С 1951 был духовником богомольцев лавры. С 1951 — преподаватель церковной археологии и древнееврейского языка в Московской духовной академии, с 3 марта 1954 — доцент. Организатор и с 1953 руководитель Церковно-археологического кабинета. С 18 июля 1954 — архимандрит. В 1953—1962 трудился над магистерской работой «Живописное и иконописное направления в церковной живописи и их онтологическая оценка», но не завершил её.
С 30 октября 1955 — епископ Старорусский, викарий Ленинградской епархии. 22 ноября 1956 Новгородская епархия была выделена из Ленинградской, и епископ Старорусский Сергий стал её управляющим. Организовал в Новгороде епархиальное управление, при котором создал ряд учреждений — мастерские по пошиву облачений, ряс и других церковных одежд и принадлежностей, реставрации икон, столярную мастерскую и бригаду рабочих по ремонту храмов епархии. По его инициативе в 1959 были проведены реставрационно-живописные работы в действовавшем Николо-Дворищенском соборе Новгорода, в результате которых была обнаружена стенная темперная живопись XVIII века. Вёл очень скромный монашеский образ жизни. Занимался написанием икон для храмов Новгорода и Старой Руссы.
Часто проводил богослужения, стремился использовать новгородский опыт церковного пения. В епархиальном отчёте за 1957 отмечалось:
Праздничные службы в некоторой степени напоминали давние новгородские традиции уставностью и торжественностью своих богослужений и особенно украшались хором старейших новгородских певчих, весьма церковно исполнявших традиционные новгородские напевы священных песнопений.
С 23 августа 1959 — епископ Новгородский и Старорусский. С 25 февраля 1963 — архиепископ. В 1964 стал почётным членом Московской духовной академии.
В условиях осложнения отношений между церковью и государством в конце 1950-х — начале 1960-х годов, епархия лишилась Николо-Дворищенского собора, который был передан музею; число приходов сократилось с 40 до 25. В начале 1967 архиепископ Сергий перенёс инсульт, но продолжал руководить епархией, а в мае 1967 вновь начал совершать богослужения. Однако в том же году молодой и энергичный ленинградский митрополит Никодим (Ротов) добился принятия решения о том, чтобы вновь включить Новгородскую епархию в состав Ленинградской. По мнению владыки Никодима, пожилой архиепископ Сергий был неуспешным администратором и не мог эффективно отстаивать церковные интересы. Кроме того, объединение епархий способствовало усилению влияния самого митрополита Никодима.
25 октября 1967 владыка Сергий был назначен архиепископом Казанским и Марийским, однако вначале попросил отпуск по болезни, а в январе 1968, формально по медицинским соображениям, был уволен за штат. С того времени жил в Троице-Сергиевой лавре.
Находясь на покое, продолжал служить и проповедовать. С 1971 осуществлял общее руководство братскими духовниками лавры; к нему на исповедь и беседы приходили многие люди разного социального положения и возраста. Пел в братском лаврском хоре, написал свыше 500 икон (в основном, образы преподобного Сергия Радонежского), продолжал заниматься исследованиями по истории иконописи. Подготовил к печати переработанный вариант своей кандидатской работы, опубликованной в «Богословских трудах» (сборник 22, М., 1981). Вплоть до 1980, когда тяжело заболел, работал по 10-14, а иногда и по 16 часов в сутки. До весны 1982, когда состояние его здоровья ещё более ухудшилось, продолжал регулярно участвовать в богослужениях.
Похоронен у алтаря церкви в честь Сошествия Святого Духа на апостолов Троице-Сергиевой лавры.