Родился 24 января (6 февраля) 1914 года в селе Верх-Яйва Пермской губернии. Русский. Окончил 3 курса Уральского горного института.
В Красной Армии с 1934 года. В 1937 году окончил Оренбургскую военную авиационную школу лётчиков, был оставлен в ней лётчиком-инструктором.
С мая 1941 по ноябрь 1951 года — на лётно-испытательной работе в Лётно-исследовательском институте (город Жуковский).
Участник Великой Отечественной войны: в июле-августе 1941 года — лётчик 2-й отдельной истребительной авиационной эскадрильи (ПВО города Москвы), совершил 11 боевых вылетов на истребителе МиГ-3.
Выполнил первый полёт и в дальнейшем провёл испытания высотных истребителей ОКБ А. И. Микояна И-220, И-222, И-225. Провёл испытания одного из лучших истребителей войны Ла-5, участвовал в испытаниях истребителей МиГ-3, И-250, бомбардировщика Ту-4 и других типов самолётов.
В 1951—1954 годах — лётчик-испытатель ОКБ-30 (город Москва). Провёл испытания: новой радиолокационной станции на самолёте Ил-12Д, скоростного планера-мишени, десантного варианта самолёта Ту-4, различных модификаций самолёта Ли-2.
В 1954—1971 годах — лётчик-испытатель ОКБ А. Н. Туполева (в 1960—1971 годах — начальник лётной службы). В 1957 году выполнил первый полёт и затем провёл испытания пассажирского самолёта Ту-114, в 1960 году — реактивного пассажирского самолёта Ту-104Е. Участвовал в испытаниях бомбардировщиков Ту-16, Ту-95 и других типов самолётов; провёл испытания по дозаправке в воздухе Ту-16 и Ту-95.
Звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 11269) Алексею Петровичу Якимову присвоено Указом Президиума Верховного Совета СССР от 22 июля 1966 года за мужество и героизм, проявленные при испытании новой авиационной техники.
С 1971 года полковник А. П. Якимов — в запасе. Жил в городе Жуковский Московской области. Скончался 10 марта 2006 года.
Заслуженный лётчик-испытатель СССР (1960). Награждён двумя орденами Ленина, орденом Красного Знамени, орденом Отечественной войны 1-й и 2-й степени, пятью орденами Красной Звезды, медалями.