Алексей Харламов родился в многодетной семье крепостного крестьянина. У родителей он был седьмым ребенком. Вскоре после его рождения хозяева решили продать его родителей другой помещице, оставив при этом детей себе. Маленькому Алеше повезло — из-за младенческого возраста он не мог быть отлучен от матери и потому был продан вместе с родителями. В 1850 году родители Алексея вместе с ним и еще двумя младшими детьми получили свободу. Вскоре семья переехала в Санкт-Петербург.
В Санкт-Петербурге Алексей в 12 лет начинает брать уроки рисования у вольнослушателя Академии художеств В.Я Афанасьева. Он очень старается в учебе и в 1854-м году поступает в Императорскую Академию художеств, где становится учеником профессора А. Т. Маркова, представителя позднего классицизма. За успехи в рисовании и живописи Алексей Алексеевич 1857 и 1862 гг. получает две Малые серебряные медали, а в 1863 году — две Большие серебряные. В 1866 году Харламов получает Малую золотую медаль за картину «Крещение киевлян», а в 1868 году — Большую золотую медаль за полотно «Возвращение блудного сына в родительский дом».
В 1869 году Харламов в числе лучших выпускников Академии получает право на пенсионную поездку за границу. Алексей Алексеевич много путешествует по Европе: посещает художественные музеи Германии, Великобритании, Франции, Испании, Италии, Швейцарии, Бельгии, Голландии. Некоторое время живет в Париже. В 1871—1872 годах по заказу музея Петербургской Академии художеств он делает во дворце Маурицхейс в Гааге копию картины Рембрандта «Урок анатомии доктора Тульпа». В 1872 же году Харламов вступает в Товарищество передвижных художественных выставок. Впоследствии художник будет регулярно посылать свои картины на ежегодные выставки передвижников в Санкт-Петербург.
В конце 1872 года художник возвращается в Париж, где поступает в ателье модного французского художника Леона Бонна. Аристократические и буржуазные салоны Третьей республики были заполнены портретами и историческими картинами Бонна. Этот модный живописец успешно передавал внешнее сходство с натурой и при этом сохранял видимость «музейного» искусства. Отдавая дань его механическому мастерству, современник назвал Бонна «превосходным, однообразным и тривиальным художником». Вслед за Бонна Харламов удачно имитировал в своих произведениях внешний вид классической живописи — любимых им старых испанских мастеров, Рембрандта, итальянцев XVII века. Именно под влиянием Бонна окончательно оформился художественный стиль Харламова.
В 1874 году Харламов отправил на академическую выставку в Санкт-Петербург три свои работы — «Бедный музыкант», «Головка итальянки» и «Головка мордовки». За эти картины и за сделанную в Гааге копию с «Урока анатомии» Рембрандта он получил звание академика. Тогда же, в 1874 году, Харламов познакомился с жившим в Париже Иваном Сергеевичем Тургеневым. Тургенев был очарован талантом молодого русского художника и предрек ему большое будущее: «Здесь появились два замечательных художника — Репин и Харламов, — писал он. — Второй особенно далеко пойдет». Во многом благодаря знакомству с Тургеневым и супругами Виардо, их протекции и заказам Харламов за один год сделал стремительную карьеру.
Выставленные в Салоне 1875 года портреты Полины и Луи Виардо работы Харламова имели блестящую прессу, организованную Тургеневым. Именно по совету русского писателя Эмиль Золя, посылавший в петербургский «Вестник Европы» свои «Парижские письма», посвятил Харламову восторженный пассаж. В харламовских портретах Золя увидел «дебют крупного таланта». Другой рецензент отмечал «мощь, энергию, уверенность лепки, глубину и жар колеров».
В конце 1875 года после окончания срока пенсионерства Харламов приехал в Россию, однако уже осенью следующего года он навсегда возвращается во Францию. Произошло это, по мнению известного журналиста того времени Н. Н. Брешко-Брешковского потому, что в 1870-е годы в России «от картин не только большая публика, но даже и сами художники требовали гражданского служения, а не технические достоинства». И поэтому Харламов «рисковал остаться неоцененным». Другой причиной эмиграции Харламова было и то, что Алексей Алексеевич, как писал И. Е. Репин, «ужасно любит Париж» и желал бы там остаться навсегда.
По возвращении в Париж Харламов снимает мастерскую в доме на Пляс Пигаль и превращает ее в модное ателье. Позднее Харламов купил дом в Веле. Этот город был любим художником. В дар городку он передал многие свои работы. В Веле же Алексей Алексеевич познакомился с юной Фанни Шютц (Фелией Литвин), ставшей впоследствии знаменитой певицей. Их дружба будет продолжаться вплоть до смерти художника.
Со второй половины 1870-х Харламова увлекает передача световоздушной среды. В некоторых своих работах, в частности в акварели «Головка» (1881, в настоящее время находится в Саратовском музее имени А. Н. Радищева), он близко подходит к пленэру, наполняет изображение светом, воздухом. В эти же годы у Харламова появилась тема в салонном духе, которую можно назвать «Итальянцы эпохи Ренессанса». В новом цикле Харламов обращается не столько к манере письма старых мастеров, сколько к бытовым подробностям эпохи Возрождения. Однако увлечение эпохой Ренессанса, как и пленэром, было мимолетным. Виртуоз раз и навсегда заученного приема, художник продолжал до конца своих дней производить бесконечные вариации однообразно красивых головок итальянок и цыганок — вне времени и вне художественного развития. Единственным полотном, явившимся ярким исключением, стал портрет И. С. Тургенева, о котором сам писатель говорил еще в процессе работы: «Харламов пишет с меня портрет, который выйдет превосходный».
Отчасти причина консервативной преданности Харламова одному художественному стилю объясняется востребованностью и высокой оценкой этого стиля у западной публики последней четверти XIX столетия. Художник постоянно выставлялся в парижском Салоне, участвовал на Всемирных выставках, получал награды. В 1888 году на Международной Выставке в Глазго его картина «Дети с цветами» произвела сильное впечатление на королеву Великобритании Викторию. Проявляла интерес к его творчеству и часть русской аристократии. Так, картина «Женская головка» была приобретена императрицей Марией Федоровной. У Харламова просто не было потребности и смысла в переменах, освоении новых стилей и направлений. Однако этот консерватизм, столь долго сопутствовавший успеху художника, обернулся для него трагедией в начале века XX-го, когда художественные вкусы общества значительно изменились.
Последние годы жизни Алексей Харламов провел в бедности и одиночестве. Единственной, кто скрашивал его старость, была Фелия Литвин, любившая Алексея Алексеевича, как своего отца. Умер Алексей Алексеевич Харламов весной 1925 года в Париже. Похоронен 13 апреля того же года на кладбище Пер-Лашез.
«Маленький Бонна», как именовали его парижане, «русско-испанский француз», как язвительно отзывалась русская критика, Харламов тем не менее живо интересовался событиями русской культуры. Домашний друг И. С. Тургенева и русского художника А. П. Боголюбова, знакомый композитора С. И. Танеева, Харламов был одним из создателей комитета в пользу неимущих русских художников в Париже. Живопись самого Харламова имела неизменный коммерческий успех. Хотя она и не отражала истинного состояния русского искусства того, всё же способствовала утверждению престижа русской живописи в Европе.
В начале XXI века интерес к произведениям художника возрос снова. Так в 2006 году картина А. А. Харламова «Маленькая швея» была продана на лондонском аукционе Bonhams за 610 тыс. фунтов стерлингов, а картина «Юные цветочницы» на аукционе Sotheby’s в Нью-Йорке в 2007 году ушла почти за 3 миллиона долларов.
Кроме частных коллекций картины Алексея Харламова есть и в музеях. Так в России они представлены в Третьяковской галерее, Государственном Русском музее в Санкт-Петербурге, Радищевском музее в Саратове, музеях Астрахани, Владивостока, Краснодара, Рыбинска, Иркутска, Хабаровска, Ярославля.
«Портрет Девочки с красной шалью», частная коллекция.
«Читающая девушка», частная коллекция.
«Дети с цветами», частная коллекция.
«Русская красавица», частная коллекция.