Первоначальное образование Алексей Рухлядев получил в Царевококшайском городском училище (1892—1896 гг.) и Казанской художественной школе (в то вемя — филиал Императорской Академии художеств) (1896—1901 гг.). В 1911 году окончил Высшее художественное училище (ВХУ) Императорской Академии художеств (мастерская Бенуа Л. Н.). Дипломная работа: «Дом русского посольства в одной из европейских столиц». Начинал творческий путь помощником у Щусева А. В. на строительстве церкви Всемилостивейшего Спаса в Натальевке (имении Харитоненко) Харьковской губернии. Работал в мастерской № 2 Моссовета, возглавляемой Щусевым А. В. Непродолжительное время преподавал в Казанских архитектурно-художественных мастерских (АРХУМАС, бывш. художественная школа). Преподаватель ВХУТЕМАСа — ВХУТЕИНа — МАРХИ. Один из учредителей Ассоциации новых архитекторов — АСНОВА. Похоронен Алексей Михайлович Рухлядев на Лукьяновском кладбище Киева.