Родился 30 марта (11 апреля) 1877 года в Санкт-Петербурге в семье земского статистика. Окончил 2-ю Московскую гимназию и историко-филологический факультет Московского университета (1900—1904).
Работал в Новгородской мужской учительской семинарии в 1904—1916 годах. Был также профессором в Новгородском народном университете. Принимал активное участие в исследовании и реставрации древнерусских фресок, в том числе фресок XIV века в церкви Фёдора Стратилата. Анисимов сотрудничал с такими специалистами, как П. П. Покрышкин, К. К. Романов и др. Собирал церковную утварь, на основе собранной коллекции в 1913 году было создано Новгородское епархиальное древлехранилище (ныне Новгородский государственный объединённый музей-заповедник), где Анисимов организовал реставрационную мастерскую.
В 1916—1918 годах преподавал в Петергофской гимназии. В 1918—1919 годах работал в музейном отделе Народного комиссариата просвещения.
По приглашению И. Э. Грабаря стал сотрудником, а затем и научным руководителем Комиссии Наркомпроса по сохранению и раскрытию памятников искусства и по реставрации настенной живописи и древних икон. В 1924 году она была переименована в Центральные государственные реставрационные мастерские и Анисимов занял должность научного руководителя реставрации памятников искусства. В 1921 году участвовал в Первой Всероссийской реставрационной конференции вместе с И. Э. Грабарем, было решено организовать комиссию для рассмотрения технических приёмов укрепления и раскрытия древней иконописи. Возглавлял реставрационные работы в Новгороде, Ярославле, Ростове, Угличе, Владимире. Среди отреставрированных под его руководством памятников: иконы и настенная живопись, связанные с именем Феофана Грека, в Москве и Новгороде; иконы «Троица» и «Звенигородский чин» Андрея Рублёва; Богородичные иконы «Владимирская», «Боголюбская», «Максимовская», «Знамение», «Оранта», «Толгская», «Фёдоровская», «Донская». Организовал специальные реставрационные мастерские в Новгороде, Ярославле, Вологде. С 1925 по 1930 год руководил ярославским филиалом живописной секции мастерских.
В 1920—1929 годах работал в Государственном Историческом музее заведующим отделом памятников религиозного быта. В начале 1920-х годов руководил секцией древнерусского искусства в Институте историко-художественных изысканий и музееведения. Работал в Московском НИИ археологии и искусствознания, Государственной Академии художественных наук. В 1926 году вместе с Н. И. Брягиным создал выставку древнерусских икон. Участвовал в организации передвижной выставки русских икон в Европе и США (1929—1932).
Преподавал в Московском университете; в Высших художественно-технических мастерских (ВХУТЕМАС) (византийскую и монументальную живопись). В Ярославском университете заведовал кабинетом изящных искусств (1918—1919), был профессором кафедры археологии и материальной культуры (1919—1924), деканом исторического отделения (с 20 февраля 1920), читал курсы истории русского искусства, раннего христианского искусства, введения в искусство понимания, русского искусства до XVIII века.
Впервые был арестован в июне 1919 года в Петергофе, освобождён по ходатайству Н. И. Седовой (Троцкой). В 1921 году был арестован в Екатеринбурге и приговорён к шести месяцам принудительных работ без содержания под стражей. 3 февраля 1921 года освобождён досрочно.
В 1929 году прекратил всякую общественную деятельность. 6 октября 1930 года арестован по делу о «шпионаже и вредительстве через Центральные государственные реставрационные мастерские». 23 января 1931 года приговорён к 10 годам лагерей. Отбывал наказание в Соловецком лагере особого назначения (Кемский лагпункт). С мая 1931 до середины 1932 года работал в музее Соловецкого лагеря, реставрировал иконы, читал доклады.
В 1937 году переведён в Беломоро-Балтийский лагерь (лагпункт Кузема). 22 августа 1937 года, в лагере, был арестован, а 26 приговорён Тройкой НКВД Карельской АССР к расстрелу. Расстрелян 2 сентября 1937 года в урочище Сандармох под Медвежьегорском. Сейчас на этом месте мемориальное кладбище «Сандармох».
Верный страж и ревностный блюститель
Матушки Владимирской, — тебе —
Два ключа: златой — в Её обитель,
Ржавый — к нашей горестной судьбе.
Имя его долго замалчивалось. Доктор искусствоведения Герольд Иванович Вздорнов собрал наиболее важную часть трудов учёного и написал о нём статью в журнале «Советское искусствознание» в 1984 году. Александр Иванович Анисимов полностью реабилитирован прокурором Карелии в 1989—1990 годах.