Родился 28 июня 1947 года в Москве. В 1973 году окончил юридический факультет Московского государственного университета.
С 1966 по 1971 год — секретарь, судебный исполнитель в народных судах Ждановского и Волгоградского районов Москвы.
С 1971 по 1979 год работал следователем, старшим следователем прокуратуры Кировского района Москвы.
В 1979-1980 годах — юрисконсульт Министерства машиностроения для легкой и пищевой промышленности СССР.
С 1980 года — научный сотрудник Всесоюзного научно-исследовательского института проблем укрепления законности и правопорядка Прокуратуры СССР.
В 1979—1990 годах преподавал курс «Советское право» в Московском институте приборостроения.
С 1990 года — народный депутат РСФСР, член фракции «Демократическая Россия».
С 30 октября 1991 года по 1 января 2010 года — судья Конституционного Суда Российской Федерации. Известен многочисленными особыми мнениями, в том числе по делам:
Женат. Имеет двух дочерей.
Кандидат юридических наук.
Автор более 40 научных работ, в том числе по уголовному праву, криминологии, теории государства и права, конституционному правосудию.
Не согласившийся с мнением коллег по поводу отставки судьи Ярославцева, Анатолий Кононов заявил в октябре 2009 года в интервью газете «Собеседник», что «Ярославцева в лучших традициях „высекли“ на нашем пленуме». Кроме того, он назвал «крайне не демократичным и неуважительным к КС» принятый летом президентский законопроект, который заменил избрание председателя КС и его заместителей самими судьями на процедуру их назначения Советом федерации по представлению президента. Ранее судья Кононов неоднократно выражал особое мнение по решениям КС (в числе последних — по делам Натальи Морарь и Михаила Ходорковского). 2 декабря 2009 года судья Кононов написал заявление об отставке с 1 января 2010 года по собственному желанию.