Происходил из дворян Симбирской губернии, сын подпоручика. Окончив, со степенью кандидата, курс в Казанском университете, на службу вступил в 1836 году в лейб-гвардии Кавалергардский полк, унтер-офицером; два года спустя произведён в корнеты и, оставаясь в полку, 3-го апреля 1849 года, в чине штабс-ротмистра, пожалован званием флигель-адъютанта, а 7-го августа того же года произведён в полковники.
Во время Венгерской кампании, в 1849 году, участвовал с отличием во многих делах против неприятеля и, в том числе, в сражениях: при селении Ач (20-го июня), при крепости Коморн (29-го июня), при Темесваре (28-го июля) и при сдаче 5 августа русским войскам крепости Арада.
С началом Крымской войны, Ахматов в 1853 году был назначен исправляющим должность начальника штаба 1-го резервного кавалерийского корпуса, в 1854 году переведён на ту же должность в 3-й пехотный корпус, в 1855 году — во 2-й резервный кавалерийский корпус и 6-го апреля 1856 года, приказом главнокомандующего крымскою и южною армиями, определён начальником штаба всех военных сил в Крыму.
За время кампании в 1855 году ему пришлось принять непосредственное участие в военных действиях: у сёл Чеботари, Саки, Курулу-Кипчак и др.
По очищении неприятельскими войсками Крымского полуострова, Ахматов 5-го июля был отчислен от последней должности, с определением в свиту Государя; 26-го августа произведён в генерал-майоры и 26-го октября назначен членом особой комиссии, учрежденной для исследования злоупотреблений по снабжению крымской и южной армии продовольствием.
20-го ноября 1860 года состоялось назначение Ахматова харьковским военным губернатором и через два года 28-го февраля на пост обер-прокурора Святейшего Синода. При Ахматове была прекращена практика составления ежегодных отчетов по Духовному ведомству. В последней должности Алексей Петрович оставался недолго.
19 апреля 1864 года пожалован званием генерал-адъютанта с оставлением в занимаемых должностях.
Чувствуя себя на вторых ролях при разработке церковных реформ, Ахматов 3 июня 1865 г. подал в отставку «по причине крайне расстроенного здоровья». Выехал для лечения за границу, где и скончался во Флоренции. Похоронен в Троице-Сергиевой лавре.
Приходится четвероюродным дедушкой Анне Андреевне Ахматовой.