Родился 23 ноября 1895 года в деревне Курьяниха (ныне Кинешемский район, Ивановская область. Русский.
Окончил реальном училище (сегодня — школа № 4).
Жил в городе Кинешема.
Работал в нотариальной конторе.
На военной службе с 1915 года.
В Первую мировую войну воевал в звании прапорщика.
В Красной Армии с 1918 года.
Участник Гражданской войны.
Окончил следующие курсы:
В 1940—1941 — комендант укреплённого района в Одесском военном округе.
В ходе войны занимал следующие должности:
«За умелое руководство соединениями корпуса при прорыве обороны противника на левом берегу реки Висла и форсировании реки Варта (Польша) и проявленные при этом личное мужество и героизм» указом Президиума Верховного Совета СССР от 6 апреля 1945 года генерал-лейтенанту Рыжову Александру Ивановичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 5164).
После войны продолжал военную службу на командных должностях в Вооружённых Силах СССР.
Жил в городе-герое Москве. Скончался 16 декабря 1950 года.
Похоронен в Москве на Новодевичьем кладбище.