Окончив Санкт-Петербургский университет, поступил рядовым, на правах вольноопределяющегося I разряда, в Конный лейб-гвардии полк. В 1880 году уволился с военной службы в звании гвардии поручика.
С середины 1880-х годов непрерывно находится на выборных должностях корпоративного и местного самоуправления: депутат от дворянства Петергофского уезда, земский гласный по Ямбургскому уезду, гласный Нарвской городской думы, губернский земский гласный, председательствующий (избран в 1894 году) Нарвской городской думы. В 1896 году назначен членом совета Государственного дворянского земельного банка.
В начале 1897 года избран санкт-петербургским губернским предводителем дворянства. Занимался исследованиями в области финансов, опубликовал записки «О мерах к облегчению положения заемщиков Государственного дворянского банка и по другим вопросам» и «О мерах обеспечения материальных интересов поместного дворянства» (1899).
В 1903-11 губернатор, в 1907-10 главноначальствующий в С.-Петербургской губернии. Во время его управления городом построены Мало-Крестовский мост (1904), Училищный дом на Греческом пр. (1905), завершено строительство храма Воскресения Христова (1907), открыты 7 бесплатных городских читален.
Деятельность А. Д. Зиновьева на посту столичного губернатора прошла под знаком отражения угрозы, которую создала для династии Романовых Первая русская революция. В прощальном слове при оставлении поста губернатора А. Д. Зиновьев отдал дань признательности правоохранительным органам, на плечи которых легла основная нагрузка борьбы с проявлениями «крамолы» в губернии после спада Первой революции и последующей победы самодержавия.