А. Г. Рочегов родился 24 января (6 февраля) 1917 года в Баку. В 1941 году ушёл добровольцем на фронт, где получил ранение и был демобилизован. В 1943 году окончил ЛИЖСА имени И. Е. Репина. В 1944—1949 годах работал в творческой мастерской архитектора Л. М. Полякова, старшим архитекторм, руководителем группы. В 1949—1959 годах являлся руководителем группы по проектированию в Москве здания гостиницы «Ленинградская». Позднее служил заместителем начальника архитектурного отдела «Гидропроект» Министерства энергетики СССР, руководителем архитектурно-проектной мастерской № 20 в «Моспроекте — I». С 1963 по 1982 годы работал начальником Управления «Моспроект — I» Главного архитектурно-планировочного управления Мосгорисполкома. С 1982 года на протяжении 10 лет возглавлял Союз архитекторов России. В 1979—1982 годах Рочегов создал и внедрил систему крупнопанельного домостроения из компоновочных объемно-планировочных элементов (КОПЭ).
А. Г. Рочегов являлся почётным членом Международной Академии архитектуры в Москве, почётным членом Украинской Академии архитектуры, академиком Российской Академии архитектуры и строительных наук, д. ч. АХ СССР (с 1988 года), членом Академии архитектуры Франции, членом правления Российского Союза строителей и ряда других организаций.
А. Г. Рочегов умер 2 декабря 1998 года. Похоронен в Москве на Новом Донском кладбище.