Родился в дворянской семье.
Интерес к естественным наукам сформировался у А. И. Толмачева рано. Ещё до поступления в Петербургский университет он интересовался энтомологией и орнитологией, работал в ботаническом саду Академии наук с гербарными коллекциями.
С 1920 года, когда он совершил свою первую экспедиционную поездку на побережье Белого моря, большая часть его жизни была связана с изучением растительности Русского Севера.
С 1921 по 1925 год он участвовал в экспедициях на арктические острова (Вайгач, Новая Земля, Колгуев).
В 1926 году А. И. Толмачев работал в низовьях Енисея, в 1928—1929 годах возглавлял Таймырскую экспедицию.
В начале 1930-х годов исследователь неоднократно посещал север Республики Коми, возглавив Печорскую бригаду Полярной комиссии Академии наук СССР. Практическим итогом работы Комиссии явилась организация 15 декабря 1933 года в Архангельске Бюро по изучению Северного края. С января 1934 года А. И. Толмачев являлся председателем этого бюро. В центре внимания были вопросы планирования научно-исследовательских работ в регионе, проблемы перспективного освоения природных ресурсов. В 1935 году была предложена «Рабочая гипотеза долгосрочного освоения Усть-Печорского края», одобренная Академией наук СССР и использованная впоследствии при разработке практических мероприятий по освоению республики.
В 1936 году Бюро по изучению Северного края было преобразовано в Северную базу АН СССР. А. И. Толмачев возглавил ботанический сектор, а в 1939 году он был назначен директором Базы. В связи с начавшейся Великой Отечественной войной 30 сентября 1941 года Северная база АН СССР была переведена из Архангельска в Сыктывкар и после вливания в неё Кольской базы преобразована в единую Базу АН СССР по изучению Севера. А. И. Толмачев руководил Базой до сентября 1942 года, принимая участие в изучении засорённости полей, выявлении запасов витаминоносных и лекарственных растений.
Осенью 1942 года А. И. Толмачев уехал в Душанбе, где в течение пяти лет был заместителем председателя Таджикского филиала АН СССР. В этот период он углублённо изучал растительный покров Памира, Гиссарского хребта, Горного Бадахшана.
С 1947 по 1955 год А. И. Толмачев работал в Сахалинском филиале АН СССР. Его исследования внесли большой вклад в развитие ботанической науки на острове. Именно здесь и отчасти благодаря исследованиям господствующих на острове темнохвойных лесов он закончил свой труд "К истории возникновения и развития темнохвойной тайги" (1954). Растительности острова посвещено множество работ выдающегося ботаника. Позже, в 1974 году, он стал ответственным редактором "Определителя высших сосудистых растений Сахалина и Курильских островов", уникального и незаменимого издания на островах.
В 1955 году он вернулся в Ленинград, где жил и работал до конца жизни. Возглавив с конца 1950-х годов лабораторию растительности Крайнего Севера, он приступил к подготовке многотомного труда «Арктическая флора СССР».
А. И. Толмачев поддерживал тесные связи с ботаниками Республики Коми, под его редакцией увидели свет сводки, подводящие итоги многолетней инвентаризации флоры сосудистых растений — «Определитель высших растений Коми АССР» (1962) и четырёхтомная «Флора Северо-Востока европейской части СССР» (1974—1977).
А. И. Толмачев много времени уделял подготовке квалифицированных кадров ботаников. С 1958 года он заведовал кафедрой систематики высших растений Ленинградского университета, позднее был деканом биолого-почвенного факультета. Под его руководством выполнены десятки дипломных и аспирантских работ. Многие ученики А. И. Толмачева стали известными учёными.
За большую научную, общественную и преподавательскую деятельность А. И. Толмачеву были присвоены звания Заслуженного деятеля науки России и Таджикистана.
А. И. Толмачев скончался в Ленинграде 16 ноября 1979 года и похоронен на Волковом кладбище.