Анатолий родился 29 июня 1922 года в городе Ртищево, в семье железнодорожника. Его отец Василий Герасимович работал машинистом на станции Ртищево. Весной 1927 года, в связи с переводом отца, семья Каляевых переехала в Козлов (ныне Мичуринск). Ещё через 4 года семья перебралась на станцию Лев Толстой. Закончив с отличием среднюю школу, Анатолий поступил на электротехнический факультет Ленинградского политехнического института. Однако, с началом Великой Отечественной войны, прервал обучение и вступил добровольцем в Народное ополчение в Ленинграде. Его определили в 106-й пограничный полк, сражавшийся на Пулковских высотах. Анатолий Васильевич участвовал в освобождении Ленинграда и Прибалтики.
Восстановившись в институте после войны, Каляев вскоре стал сталинским стипендиатом. Закончив институт с отличием в 1951 году, он, по направлению учёного совета вуза, поступает в аспирантуру. В 1954 году Анатолий Васильевич защитил кандидатскую диссертацию и был направлен в город Таганрог, в Таганрогский радиотехнический институт им. В. Д. Калмыкова. Там он начал преподавательскую и исследовательскую работу по вычислительной технике сначала доцентом, затем, защитив в 1964 году докторскую диссертацию, профессором, заведующим кафедрой вычислительной техники, с 1957 по 1960 год — проректором по научной работе и с 1968 по 1986 год — ректором.
В 1969 году А. Каляев организовал ОКБ «Миус», научным руководителем которого являлся на протяжении 15 лет. По инициативе Каляева 29 декабря 1972 года Совет Министров РСФСР принял постановление № 754 об организации при Таганрогском радиотехническом институте Научно-исследовательского института однородных микроэлектронных вычислительных структур (НИИ ОМВС), который в 1985 году был переименован в Научно-исследовательский институт многопроцессорных вычислительных систем (НИИ МВС). Анатолий Васильевич был назначен первым директором НИИ МВС и проработал в должности до 1993 года.
С февраля 1985 года А. В. Каляев входил в состав редакционной коллегии научно-технического и производственного журнала «Микропроцессорные средства и системы».
Умер А. В. Каляев 10 марта 2004 года в Таганроге. Он похоронен на городском кладбище по Николаевскому шоссе.
А. Каляев опубликовал более 380 научных работ, написал 14 монографий, на его счету 80 изобретений. Главными направлениями научной деятельности А. В. Каляева являются вычислительная техника, архитектура суперЭВМ и многопроцессорные вычислительные системы. Он создал и внедрил на практике более 20 параллельных многопроцессорных вычислительных систем. В 1964 году вместе со своими учениками сконструировал одну из первых в мире цифровую интегрирующую машину «Метеор-3» на 100 параллельно работающих процессорах с большой скоростью вычисления.
Под его руководством был разработан и осуществлён новаторский проект многопроцессорной вычислительной системы с массовым параллелизмом и программируемой архитектурой, которая имела производительность более 1000 гигафлопс.
Анатолий Васильевич Каляев сформировал в Таганрогском радиотехническом институте принципиально новые научные направления. В 1962 году — «Цифровые интегрирующие машины и структуры», в 1971 году — «Многопроцессорные вычислительные структуры», в 1975 году — «Цифровые нейропроцессоры и цифровые нейропроцессорные сети и системы».
С 1997 года он является руководителем проекта «Теория и новые принципы построения архитектуры многопроцессорных вычислительных систем с массовым параллелизмом», а в 1998—1999 годах был руководителем минвузовской научно-технической программы «Многопроцессорные ЭВМ с параллельной структурой и системы и системы с виртуальной реальности».