Родился в семье мелкого служащего Адмиралтейств-коллегии. В раннем возрасте (ему ещё не исполнилось и шесть лет) был отдан отцом в художественное училище при петербургской Академии Художеств, где проучился до 1782 года. Его учителями были А. Ф. Кокоринов и И. Е. Старов. При окончании училища получил большую золотую медаль и право на пенсионерскую поездку за границу для продолжения образования. Продолжал учиться в Париже с 1782 года по 1786 год у Ж. Ф. Шальгрена.
В 1786 году вернулся в Петербург и начал работать преподавателем в Академии художеств, одновременно начав заниматься проектированием. Через некоторое время Захарова назначили архитектором всех недостроенных строений Академии художеств.
В конце 1799 года указом Павла I Захаров был назначен главным архитектором Гатчины, где проработал почти два года.
После этого он работал в Санкт-Петербурге, достиг звания главного архитектора Морского ведомства.
С 1787 года Захаров преподавал в Академии Художеств, среди его учеников был архитектор А. И. Мельников.
С 1794 года Захаров стал академиком петербургской Академии Художеств.
Работы, производимые А. Д. Захаровым в этот период шли по нарастающей сложности задач и раскрытия таланта архитектора. Он работал со всё возрастающими по сложности задачами.
Строительство кирхи было начато неизвестным архитектором в 1789 году, но не окончено. Захаров приступил к работам в 1799 году, под его руководством здание было значительно перестроено, закончена внутренняя отделка, также по его проекту был создан иконостас и кафедра с балдахином. Самой заметной из выразительных деталей нового здания были позолоченные петух и шар, изготовленные для шпица, завершающего колокольню из толстой латуни (уничтожены в Великую Отечественную войну, не восстановлены).
Горбатый мост в Дворцовом парке Гатчины был построен А. Д. Захаровым по собственному проекту, первые документальные свидетельства датируются ноябрём 1800 года. Мост имеет два широких береговых устоя, оформленных в виде террас — обзорных площадок. Террасы и пролёт моста обнесены балюстрадой, в средней части моста устроены каменные скамьи для отдыха. Поскольку архитектура моста рассчитана на восприятие с большого расстояния, его элементы создают игру света и тени, отчётливо видимую издалека.
Построен по проекту А.Д.Захарова в 1799-1801 гг. Второе название мост получил из-за каменных львиных масок, которые украшают замковые камни его трех арок. Кроме этих каменных масок по замыслу архитектора на невысоких постаментах моста предполагалось установить скульптурные группы, аллегории «Изобилие рек». После трагической гибели императора Павла I этот проект не был осуществлен. Но даже без скульптуры Львиный мост принадлежит к лучшим произведениям дворцово-парковой архитектуры. Разрушенный в годы войны Львиный мост восстановлен в конце прошлого века.
Перестройку Васильевского острова в Санкт-Петербурге по проекту Захарова предполагалось выполнить в традициях французской градостроительной школы: единство ансамбля должно было быть достигнуто общим ритмом расстановки зданий и одинаковыми архитектурными деталями. Исполнение проекта должно было привести к перестройке здания Академии наук.
Захаров подготовил проект архитектурного плана для Нижегородской ярмарки, по которому архитектор А. А. Бетанкур построил её через несколько лет.
В 1805 Захаров был назначен главным архитектором Морского ведомства, сменив на этом посту Чарльза Камерона. На этой должности в его ведении сосредоточились руководство строительством и проектирование гражданских и производственных зданий и сооружений. Первым проектом архитектора в новой должности стала перестройка здания Адмиралтейства в Санкт-Петербурге.
Первоначальную постройку Адмиралтейства осуществил архитектор И. К. Коробов в 1738 году, это здание является величайшим памятником русской архитектуры стиля ампир. Одновременно с этим оно является градообразующим зданием и архитектурным центром Санкт-Петербурга.
Захаров выполнял работы в 1806—1811 годах. Создавая новое, грандиозное здание протяжённостью главного фасада 407 м, он сохранил конфигурацию плана уже существовавшего. Придав Адмиралтейству величественный архитектурный облик, ему удалось подчеркнуть его центральное положение в городе (главные магистрали сходятся к нему тремя лучами). Центром здания является монументальная башня со шпилем, на которой расположен кораблик, ставший символом города. Этот кораблик несёт старый шпиль Адмиралтейства, созданный архитектором И.К.Коробовым. В двух крыльях фасада, симметрично расположенных по сторонам башни, чередуются сложным ритмическим рисунком простые и чёткие объёмы, такие как гладкие стены, сильно выступающие портики, глубокие лоджии.
Сильной стороной оформления является скульптура. Декоративные рельефы здания дополняют крупные архитектурные объёмы, грандиозно развёрнутые фасады оттенены пристенными скульптурными группами.
Внутри здания сохранились такие интерьеры Адмиралтейства, как вестибюль с парадной лестницей, зал собраний, библиотека. Обилие света и исключительное изящество отделки оттенены чёткой строгостью монументальных архитектурных форм.
В период работы над Адмиралтейством, Захаров работал также над другими задачами:
В 1806—1808 годах Захаров создал проект застройки Провиантского острова
В 1806—1809 году он создал проект ансамбля Галерного порта
Кроме того, Захаров плодотворно работал над градостроительными задачами Кронштадта.
В 1806—1817 годах архитектор работал над одним из самых значимых сооружений Кронштадта — Андреевским собором (не сохранился).
Кроме того, Захаров готовил проекты казённых строений и церквей для губернских и уездных городов России. Эксперты отмечают их подчёркнуто монументальный характер.
В частности, Захаров разработал около 1805 г. проект кафедрального собора Святой Великомученицы Екатерины в Екатеринославе (ныне Днепропетровск). Собор построен уже после смерти архитектора, в 1830—1835 гг. под именем Преображенского и сохранился до наших дней.