Родился 11 октября 1923(19231011) года в селе Малая Трещевка Воронежской области в семье крестьян. Русский.
В 1939—1941 гг. работал слесарем на предприятиях авиационной промышленности.
С сентября 1941 г. по сентябрь 1944 г. — служба в РККА ВС СССР (курсант военного училища, командир взвода, командир роты, начальник связи полка, И. О. начальника штаба полка).
В декабре 1942 г. вступил в КПСС.
Участник Великой Отечественной войны (закончил войну в звании капитана), награждён пятью боевыми орденами.
С сентября 1944 г. по сентябрь 1945 г. находился на излечении в военных госпиталях в связи с ранениями, полученными на фронте.
В сентябре 1945 г. — феврале 1947 г. работал в г. Воронеже (начальник отдела военного склада, воспитатель рабочей молодёжи).
С февраля 1947 г. по декабрь 1959 г. — на комсомольской работе (последняя должность в этом качестве — заведующий отделом ЦК ВЛКСМ по связям с молодёжными организациями социалистических стран).
С декабря 1959 г. по сентябрь 1970 г. — на партийной работе в аппарате ЦК КПСС, дослужился до заведующего сектором органов прокуратуры, суда и юстиции Отдела административных органов ЦК КПСС.
С сентября 1970 г. — первый заместитель министра юстиции СССР.
С марта 1984 г. по февраль 1988 г. — министр юстиции РСФСР.
С февраля по май 1988 г. — первый заместитель Генерального прокурора СССР.
С мая 1988 г. по октябрь 1990 г. — Генеральный прокурор СССР.
В 1991—1995 годах — зам. директора, в 1995—2000 и в 2002—2006 годах — директор Института проблем укрепления законности и правопорядка (ИПУЗП) при Генеральной прокуратуре РФ.
В 2000—2002 годах — первый зам. директора ИПУЗП.
С 2006 г. — главный научный сотрудник ИПУЗП (с марта 2007 г. — НИИ Академии Генеральной прокуратуры России).
Советник Генерального прокурора Российской Федерации.
В 1950 г. окончил Московский юридический институт.
Кандидат юридических наук (1978).
Доктор юридических наук (1996), профессор.
Научные интересы: вопросы уголовного права, уголовного процесса, криминологии, законности и прокурорского надзора.
Автор более 120 научных работ, в том числе книги «Наш народный суд», научных публикаций по проблемам борьбы с преступностью и формированию правосознания населения.
Главный редактор Российской юридической энциклопедии (М., 1999).
Участвовал в работе над проектами закона о прокуратуре Российской Федерации, УПК Российской Федерации и других основополагающих актов в области борьбы с преступностью и защиты прав граждан.
Член Научно-консультативных советов при Генеральной прокуратуре РФ (с 1996 г.) и при Следственном комитете при прокуратуре России (с 2008 г.).
Член Экспертного совета ВАК России.
Преподаватель, заведующий кафедрой Российского нового университета (РосНОУ).
Член ряда правительственных и президентских комиссий по проблемам укрепления правопорядка и законности.
Председатель Правления Регионального общественного фонда «Маршалы Победы» (2009 г.).
Президент Межрегионального общественного фонда «Выдающиеся полководцы и флотоводцы Отечества».
Вице-президент Международной Ассоциации уголовного права.
Основатель и сопрезидент Всемирной ассоциации «Юристы против ядерного оружия „ИАЛАНА“».
Стоял у истоков создания популярной телепередачи «Человек и закон» и одноимённого журнала.
Избирался народным депутатом СССР, президентом Ассоциации советских юристов.
27 октября 1976 года на фоне развернувшейся на Западе кампании за освобождение политического заключенного Владимира Буковского (был обменен на лидера коммунистической партии Чили Луиса Корвалана в декабре 1976 г.), в "Литературной газете" было опубликовано интервью заместителя министра юстиции СССР А.Я.Сухарева, в котором он вменял Буковскому деяния, не имеющие ничего общего с приговором. В частности, что он "призывал к свержению советского государственного строя", что в суде "было доказано, что его (Буковского) деятельность направлялась из-за рубежа пресловутым НТС", что "эту организацию Буковский снабжал клеветническими материалами, получая от нее денежные подачки". 17 декабря 1976 г. с заявлением о клевете Сухарева в адрес Буковского выступила Людмила Алексеева и другие советские правозащитники. Однако это заявление осталось без ответа.
Из книги Владимира Буковского "И возвращается ветер": "Последнее время и меня вдруг вспомнила советская печать. Почти шесть лет они молчали - выдерживали характер, а тут целая страница в "Литературке" - интервью первого заместителя министра юстиции СССР Сухарева. Еще в 72-м году, сразу после суда, появилась в московской газете статейка под заголовком "Биография подлости". При всей ее обычной для советской пропаганды лживости и обилии ругательств эта статья не выходила за рамки приговора, то есть не добавляла лжи от себя. Теперь же замминистра юстиции нес совершенную околесицу, даже отдаленно не напоминавшую моего приговора. По его словам, я обвинялся чуть ли не в сотрудничестве с Гитлером и в подстрекательстве к вооруженному восстанию. Забавно было читать все это, напечатанное миллионным тиражом, разосланное во все уголки страны, и при этом иметь на руках приговор с печатью советского суда. Любопытно - на кого рассчитана такая откровенная чепуха? В наше время, когда почти все слушают западное радио, когда меня даже конвойные на этапе узнавали, - что может дать такая глупость?"
Жена, сын — дипломат, два внука.
Хобби: шахматы, историческая и мемуарная литература, участие в создании серии (цикла) военно-исторических книг о выдающихся отечественных полководцах.
В июне 2011 года выпустил книгу мемуаров «По зову правды».