Воспитанник тульского футбола. Выступал за юношеские сборные СССР, привлекался на сборы олимпийской сборной.
Бо?льшую часть карьеры провёл в ленинградском «Зените», в составе которого стал чемпионом СССР в 1984 году.
В 1985 году в кубковом матче против ЦСКА на стадионе им. Кирова получил сильное сотрясение мозга, из-за которого 7 месяцев мучался головными болями и собирался завершить выступления. Однако спустя некоторое время вновь вышел на поле.
В 1990-х годах выступал в Финляндии. В марте—октябре 1996 года играл в Китае за команду «Фушунь Фосиди» из провинции Гуанчжоу.
По возвращении в Россию по договоренности с Анатолием Бышовцем приступил к обязанностям тренера «Зенита». Давыдов думал, что игровую карьеру завершил. Однако на последнем сборе команды перед сезоном-1997 (в Бельгии) защитники команды почти разом получили травмы, из-за которых они не могли выйти на первые матчи. Бышовец предложил Давыдову продолжить выступления, и Анатолий приступил к тренировкам уже как игрок основного состава.
В итоге в 1997 году провёл в чемпионате 15 игр, в большинстве из которых играл вместе с сыном Дмитрием. По окончании сезона окончательно завершил игровую карьеру.
Рекордсмен «Зенита» по числу сыгранных официальных матчей (454) и по числу матчей в Кубке страны (53).
Является самым возрастным футболистом, выступавшим в высшем дивизионе чемпионата России. Свой последний матч провёл 3 сентября 1997 года в возрасте 43 лет и 295 дней.
Приступил к тренерской работе в 1997 году. Тренировал главную, вторую и дублирующую команды «Зенита». В 1999 году привёл команду к победе в Кубке России. Затем тренировал липецкий «Металлург», новосибирскую «Сибирь». В декабре 2006 года получил лицензию ФИФА категории «Pro». В 2007 году возглавлял «Текстильщик-Телеком», однако 5 октября после игры 37-го тура подал в отставку, оставив команду на 20-м месте. В ноябре 2007 года назначен главным тренером дублирующего (молодёжного) состава «Зенита». 10 августа 2009 года после отставки Дика Адвоката назначен исполняющим обязанности главного тренера «Зенита». 3 октября 2009 года назначен главным тренером «Зенита». Привёл клуб, принятый им в непростой турнирной ситуации, к бронзовым медалям сезона-2009, давшим, помимо прочего, право на участие в квалификации Лиги чемпионов. Дубль же, который после его ухода в основную команду возглавил Николай Ларионов, выиграл первенство дублирующих составов сезона-2009. В декабре 2009 года на посту главного тренера «Зенита» Давыдова сменил Лучано Спаллетти, а Анатолий Викторович вернулся на пост главного тренера молодёжного состава.
Жена Татьяна, сын Дмитрий, дочь Жанна.