Родился 14 (26) августа 1858 года в городе Яранске Вятской губернии. Детство провёл в городе Котельниче. В 1878 году окончил мужскую Вятскую гимназию, поступил в Петербургский университет. Ещё в студенческие годы написал первую статью, посвящённую проблеме так называемых «длинных курганов».
В кандидатской диссертации отстаивал собственную точку зрения, согласно которой подверг сомнению достоверность основного источника по ранней истории славянской Вятки «Повесть о стране Вятской» (Хлыновский летописец) и, как следствие, заселение Вятского края из Новгородчины (как считалось тогда). Эта теория противоречила традиционным взглядам авторитетных историков (Н. М. Карамзина и Н. И. Костомарова), и кандидатскую диссертацию А. А. Спицыну защитить не удалось, в результате чего он был вынужден выбрать другую тему работы. Спицын написал работу «Каталог древностей Вятского края», в которой впервые систематизировал все известные сведения по археологии Вятского края, в 1882 году успешно защитил её, получив учёную степень.
После окончания университета в течение десяти лет работал учителем литературы и истории в Вятской женской гимназии. Занялся изучением истории, опубликовал несколько статей по истории и археологическим древностям Вятского края. Активно собирал письменные источники по истории края. Составил библиографию «Вятских губернских ведомостей».
В 1892 году А. А. Спицын переехал в Санкт-Петербург, где принял активное участие в работе Российской Императорской Археологической комиссии и Русском археологическом обществе. Проявил себя горячим сторонником развития славяно-русской археологии. В июле 1892 года участвовал в международном конгрессе доисторической антропологии в Москве, где выступил с рефератом «Костеносные городища на Северо-востоке России». По заданию Московского археологического общества провёл ряд экспедиций по исследованию древних памятников Вятской губернии, результатом которых стала книга «Археологические разыскания о древних обитателях Вятского края» (1893).
С 1909 года читал лекции по археологии и русской исторической географии в Петербургском университете.
По приглашению известного историка и искусствоведа А. И. Анисимова, А. А. Спицын читал лекции по археологии в Новгородской мужской учительской семинарии. Дальнейшая научная и исследовательская деятельность А. А. Спицына также была тесно связана с Новгородом. Он был избран почётным членом Новгородского общества любителей древности, а летом 1911 года принял участие в работе XV Всероссийского археологического съезда, проходившего в этом городе. С 1914 года, кроме общего курса по русской археологии, А. А. Спицын читал лекции по исторической географии в университете и в Императорском Петербургском Археологическом институте (ИПАИ).
На территории Новгородской губернии А. А. Спицын также проводил археологические раскопки: в селе Бронницы Новгородского уезда, селе Удрай Крестецкого уезда. В 1917 году вёл археологические наблюдения за работами на Нередицком холме.
После Октябрьской революции Спицын стал членом Государственной Академии истории материальной культуры (ГАИМК) со дня её основания (1918). В 1919 году Спицын заведовал в ГАИМК разрядом русских, финских и литовских древностей, тогда же организовал две комиссии — по изучению русской нумизматики и русской миниатюры. В 1929 году — член-корреспондент Академии наук СССР. А. А. Спицын скончался 17 сентября 1931 года в Ленинграде и был похоронен на Смоленском кладбище.
А. А. Спицын был крупным знатоком древностей бронзового века, волжско-камских и славянских. Большим вкладом А. А. Спицына в науку являются составленные им описания огромного количества древностей. В то же время, непосредственно раскопками А. А. Спицын занимался мало, сосредоточив свои силы на изучении и издании различных научных материалов. Всеобщей известностью пользуется составленная им картотека археологических памятников, находящихся на территории бывшего СССР (хранится в Петербургском отделении Института истории материальной культуры).
А. А. Спицын одним из первых начал рассматривать историю как комплексную науку, неотъемлемой частью которой считал археологию. Так, монография «Расселение древнерусских племен по археологическим данным» (1899) представляет собой успешный опыт сопоставления летописных и археологических данных.
А. А. Спицын составил также первые научные руководства по археологическим разведкам и раскопкам.
А. А. Спицын — автор около трёхсот научных работ и публикаций. Некоторые из них: