Александр Власович Коваленко родился в 1909 году в селе Николаевка Кобелякский район Полтавской области в семье крестьянина-бедняка. Украинец. Окончил начальную школу.
Трудовую деятельность начал с тринадцати лет, работал по найму. Комсомолец-активист, был вожаком сельской молодежи. В начале коллективизации стал трактористом, затем бригадиром тракторной бригады.
Член ВКП(б) с 1931 года. Отслужив в Красной Армии, в 1934 году поступил в Харьковский сельскохозяйственный университет, после окончания которого был направлен на работу директором Ново-Водолажской МТС Харьковской области. В 1939 году был избран председателем Ново-Водолажского райисполкома, а в 1941 году — первым секретарем райкома партии.
В период Великой Отечественной войны работал секретарем подпольного райкома партии, активно участвовал в партизанском движении.
В послевоенные годы продолжал работать первым секретарем Ново-Водолажского, затем Волчанского и Чугуевского райкомов партии. В 1954 году направляется на работу первым заместителем, затем избирается председателем исполкома Белгородского областного Совета народных депутатов, а в 1960 году — первым секретарем Белгородского обкома КПСС.
В 1964—1980 гг. - первый секретарь Оренбургского обкома КПСС.
С 1980 по 1986 годы — председатель Государственного комитета СССР по материальным резервам.
Член ЦК КПСС в 1961-1986 гг. Делегат XXI-XXVI съездов КПСС. Член Президиума Верховного Совета РСФСР. Избирался депутатом Верховного Совета СССР 6-11-го созывов
С 1986 года — на пенсии. Умер 4 ноября 1987 года, похоронен в Москве.
На его родине установлен бронзовый бюст.
Отмечалось 100-летие со дня рождения Александра Власовича.