Родился в 1937 году в д. Наваринка Агаповского района Челябинской области. В 1955 году окончил ремесленное училище № 13 (ныне Профессиональный лицей №13) г. Магнитогорска и был направлен в первый мартеновский цех Магнитогорского металлургического комбината. С первых шагов на производстве Анатолий Иванович проявил высокое умение варить сталь, осваивал 900-тонную мартеновскую печь. С той поры его большегрузный агрегат не выходил из его повиновения. Его бригада добивалась лучшей в стране производительности мартеновского агрегата. Совершенствовать технологию производства А. И. Рубанову помогли теоретические знания, полученные в Магнитогорском горнометаллургическом институте.
Рубанов А. И. был депутатом городского Совета депутатов трудящихся.
За доблестный труд, за успехи, достигнутые в социалистическом соревновании, Анатолий Иванович был удостоен в 1966 году высокой награды — звания Героя Социалистического Труда с вручением ордена Ленина и золотой медали «Серп и Молот».