Родители Александра Борисова были крестьянами. В пятнадцать лет он пришёл в Соловецкий монастырь, где работал на рыболовной тоне в Савватиевском скиту. Вскоре он устроился учеником в иконописную мастерскую. Архимандрит монастыря, увидев карандашные рисунки Борисова, увез его в главную обитель. Будучи послушником, Александр обучался рисованию и иконописи.
На работы Борисова обратили внимание посещавшие Соловки президент Академии художеств Великий князь Владимир Александрович и известный собиратель живописи генерал Андрей Андреевич Боголюбов, служивший в штабе Петербургского военного округа. Они помогли Александру: ему была выделена стипендия и 20 сентября 1886 года он приехал в Санкт-Петербург.
За период обучения в Академии художеств с 1888 по 1892 год творческие достижения Борисова были отмечены двумя малыми и одной большой поощрительными серебряными медалями. За «хорошие успехи в художественных классах» совет Академии удовлетворил просьбу Борисова, и с июня 1892 года ему назначили стипендию «как государственному крестьянину». В 1895 году технику рисунка А. А. Борисов постигал в мастерской И. И. Шишкина, а через год после его ухода из Академии — у А. И. Куинджи.
Летом 1894 года Борисов сопровождал С. Ю. Витте на пароходе «Ломоносов» в поездке по Северу. В обязанности Борисова входили зарисовки гаваней и бухт Мурманского побережья. А. А. Борисов осуществил мечту побывать в Ледовитом океане и стал вынашивать идею высокоширотной художественной экспедиции.
Из поездки 1894 года он привёз около 150 этюдов, часть которых экспонировалась в 1897 году на академической выставке в Петербурге. Эти работы вызвали восхищение В. М. Васнецова, одобрительные отзывы В. В. Стасова. П. М. Третьяков приобрел для своей коллекции работы А. Борисова на 8 тыс. рублей. И. Е. Репин так отозвался о работах молодого художника:
В 1900 году А. А. Борисов и восемь его спутников отправились на Новую Землю. Экспедиция длилась четырнадцать месяцев, и за это время Борисову и его товарищам пришлось преодолеть немало трудностей. Они обследовали и наносили на карту берега заливов Чекина, Незнаемый и Медвежий, давая бухтам, проливам, горным вершинам и мысам имена художников, учёных и тех кто способствовал освоению Севера. Благодаря Борисову на карте Новой Земли увековечены имена многих русских художников: мысы Шишкина, Куинджи, Крамского, Васнецова, Верещагина, Репина, а также ледник Третьякова. Кроме того, путешественники вели метеорологические наблюдения, собирали геологические, ботанические и зоологические коллекции. Одним из главных результатов экспедиции стали сотни эскизов и этюдов, послуживших темой монументальных полотен, созданных Борисовым по возвращении с Новой Земли.
Работы художника экспонировавшиеся на весенних Петербургских выставках 1900—1905 годах привлекли внимание ценителей искусства не только в России, но и за рубежом. В 1902 году по приглашению Венского общества художников А. А. Борисов устраивает выставку в столице Австрии. Успех Борисова позволил ему провести выставки в Берлине, Гамбурге, Кельне, Дюссельдорфе и Париже. Французское правительство наградило художника орденом Почётного легиона. В 1907 году в Лондоне выставку Борисову посетил знаменитый полярный исследователь Фритьоф Нансен и вручил художнику от имени правительств Швеции и Норвегии орден Св. Олафа. А Британское правительство наградило художника орденом Бани.
В 1906 году А. А. Борисов принимал активное участие в создании «Северного кружка любителей изящных искусств», участвовал в разработке устава, а затем в организации всех выставок кружка (1905—1919).
В начале 1908 года Борисов приехал в США. Выставка его картин в Вашингтоне была проведена в резиденции Президента — Белом Доме. Борисов стал первым русским художником, принятым Президентом США.
Вернувшись в Россию Борисов поселился на родине, близ Красноборска. В эти годы Борисов создает произведения, посвященные не только Арктике, но и Соловкам, Печоре, северодвинским землям. В феврале 1914 года художник устраивает в Петербурге крупную выставку.
Кроме живописи А. А. Борисов писал путевые очерки — «У самоедов. От Пинеги до Карского моря» (1907), «В стране холода и смерти» (1909), «Великий Северо-Восточный путь. Великий речной путь из Сибири в Европу» (1910), «Обь-Мурманская железная дорога» (1915). В этих работах он пишет о природных богатствах края и о бедственном положении коренного населения. В своих научных докладах и проектах он исследует экономическую жизнь Севера, высказывается о необходимости строительства Северного железнодорожного пути и соединения северных и сибирских рек каналами.
В 1915 — 1916 годах А. А. Борисов разрабатывает проект строительства Обь-Мурманской железной дороги, строительство которой было поддержано царским правительством, а также сменившим его после революции Совнаркомом. Однако из-за гражданской войны проект был реализован только через десятки лет.
В 20 — 30-е годы Борисов принимал активное участие в разработке проекта железной дороги Обь — Котлас — Сорока, а в 1922 году по инициативе А. А. Борисова на базе соляного источника недалеко от Красноборска был открыт курорт «Солониха», первым управляющим которого стал сам художник.
17 августа 1934 года художник скончался в своём доме близ Красноборска.
В настоящее время произведения Борисова хранятся в Русском музее, Третьяковской галерее, Архангельском областном музее, Вологодской картинной галерее, Ненецком окружном музее и других музеях России.