Происходил из богатого купеческого рода. В 1873—1883 годах учился в Ревельской гимназии. Окончил физико-математический факультет Московского университета (1889). По поручению Императорского общества любителей естествознания предпринимал ряд поездок: в 1885 году — в Закавказье; в 1886 году — в Крым и на Эгейское море; в 1887 и 1888 годах — в киргизскую Букеевскую степь; в 1889 году — в Крым и в 1891 году — на Кавказ. По поручению Императорского русского географического общества посетил в 1899 году Боснию и Герцеговину. В 1889—1891 гг. в качестве секретаря антропологического отдела Императорского общества любителей естествознания редактировал «Дневник Антропологического Отдела».
В 1891 году назначен в Ревель чиновником особых поручений при эстляндском губернаторе, затем был секретарем бывшей крестьянской комиссии, секретарем губернского статистического комитета и секретарем губернского по крестьянским делам присутствия. Редактировал «Временник Эстляндской губернии». В 1895 году перешел в государственную канцелярию. В 1902 году назначен управляющим канцелярией виленского генерал-губернатора.
В 1904—1908 годах губернатор Бессарабии. Затем — директор Департамента духовных дел иностранных исповеданий. В 1911 году — товарищ министра внутренних дел.
После революции 1917 года работал в Тверской губернии на Шатиловской опытной сельскохозяйственной станции, одним из организаторов которой он сам и был. В 1924 году возвратился в Москву, где устроился на работу в Сельскохозяйственный политехникум автором-преподавателем в садово-огородное отделение.
В 1927 году арестован ГПУ. Через некоторое время без предъявления обвинений отпущен. Работал консультантом в Сельхозгизе в Москве. 21 февраля 1931 года вторично арестован вместе с сыном Всеволодом по обвинению в антисоветской агитации. 3 апреля 1932 года постановлением Особого совещания при коллегии ОГПУ осуждён по статье 58-10 УК РСФСР к высылке на 3 года. Умер 8 мая 1932 года от сердечной недостаточности в больнице при Бутырском изоляторе.
М. М. Керимова и О. Б. Наумова пишут, что :
После этого сына А. Н. Харузина, В. А. Харузина, признали «закоренелым контрреволюционером» и приговорили к 10 годам заключения в лагерях, где он и умрёт в 1937 году.
В честь А. Н. Харузина в бессарабском городе Бендеры в 1908 году была переименована центральная улица, бывшая Андреевская. Название Харузинская улица сохранялось до 1918 года, ныне это улица Ленина.