Ан. А. Фёдоров родился в Твери в семье садовода. Высшее образование получил в своём родном городе — в Тверском педагогическом институте, куда поступил одновременно со старшим братом. Окончил институт в 1929 году.
До 1935 года работал в Сухумском отделении Всесоюзного института прикладной ботаники и новых культур (с 1930 года институт назывался Всесоюзным институтом растениеводства, сейчас — Всероссийский институт растениеводства им. Н. И. Вавилова). С 1935 по 1945 год работал в Академии наук Армянской ССР (до 1943 года — Армянский филиал АН СССР).
С 1945 года — в Ленинграде, в Ботаническом институте им. В. Л. Комарова АН СССР, в котором трудился до конца жизни; с 1963 года — заведующий лабораторией.
В 1955 и 1956 годах участвовал в Объединённой советско-китайской биологической экспедиции в провинции Юньнань вместе с М. Э. Кирпичниковым, И. А. Линчевским, зоологами В. В. Поповым и О. Л. Крыжановским.
В 1955 году подписал «Письмо трёхсот» — направленное в Президиум ЦК КПСС письмо с критикой деятельности Т. Д. Лысенко и общей оценкой состояния биологии в СССР. Письмо было составленное большой группой советских учёных и привело в конечном счёте к отставке Лысенко с поста президента ВАСХНИЛ.
С 24 ноября 1970 года — член-корреспондент АН СССР по Отделению общей биологии.
Основные труды посвящены систематике цветковых растений, флоре СССР (особенно флоре Кавказа, европейской части СССР, Сибири, Средней Азии) и других стран, истории флоры. Среди семейств, обработкой которых занимался Ан. А. Фёдоров, можно выделить Колокольчиковые и Первоцветные. Занимался вопросами ботанико-географического районирования.
Ан. А. Фёдоров был консультантом от СССР и соавтором «Флоры Европы» — международного издания, вышедшего в четырёх томах в 1964—1976 годах. Ан. А. Фёдоров был также редактором и соавтором объёмного труда «Флора Европейской части СССР» (1974—1979).
Похоронен на Серафимовском кладбище Санкт-Петербурга.
Награждён двумя орденами Трудового Красного Знамени.
Брат Андрея Александровича Фёдорова, Александр Александрович Фёдоров (1906—1982), также был ботаником, членом-корреспондентом АН СССР (1964). Его основные труды посвящены морфологии растений (в первую очередь описательной морфологии и тератологии цветковых растений), систематике цветковых растений, а также вопросам ботанического ресурсоведения. Автор наименований ряда ботанических таксонов; в ботанической номенклатуре эти названия дополняются сокращением «Al.Fed.».
Поскольку фамилия и инициалы у двух братьев совпадают, в литературе обычно используют сокращения Фёдоров Ан. А. для Андрея Александровича Фёдорова и Фёдоров Ал. А. для Александра Александровича Фёдорова.