Возможно, является бенефициаром хищения из бюджета 5,4 млрд рублей, о котором рассказал умерший в СИЗО юрист фонда Hermitage Сергей Магнитский.
В 1984—1985 годах проходил срочную службу в ВС СССР, позже окончил офицерские курсы и был уволен офицером запаса.
С 1985 по 1991 год работал заместителем заведующего секцией, заведующим секцией магазина № 3 Ленмебельторга (Ленинград). В 1991-1993 годах — на посту заместителя директора по коммерческой работе Ленмебельторга.
С 1993 года работал в АО «Мебель-Маркет» Санкт-Петербург — заместителем генерального директора (1993), директором по маркетингу (1993—1995), генеральным директором (1995—2000)
С 2000 по 2001 годы был заместителем руководителя Межрайонной инспекции ФНС России № 1 по Санкт-Петербургу (специализированная, по работе с крупнейшими налогоплательщиками Санкт-Петербурга). В мае 2001 года назначен заместителем руководителя Управления МНС России по Санкт-Петербургу, а в ноябре 2001 года — руководителем Управления МНС России по Санкт-Петербургу.
С февраля 2004 года — руководитель управления МНС России по Москве.
2 марта 2004 года он назначен заместителем Министра Российской Федерации по налогам и сборам. Через 2 недели 16 марта 2004 года стал исполняющим обязанности Министра Российской Федерации по налогам и сборам.
Распоряжением Правительства Российской Федерации от 27 июля 2004 года № 999 назначен руководителем Федеральной налоговой службы России.
В 2006 году заработал 1,25 млн рублей, заняв последнее место по уровню доходов среди членов Правительства Российской Федерации.
С 15 февраля 2007 года — Министр обороны Российской Федерации.
Президент Владимир Путин смысл такого кадрового решения объяснил тем, что в условиях реализации программы развития и перевооружения Вооружённых Сил Российской Федерации, связанной с расходованием «огромных бюджетных средств», «нужен человек с опытом работы в сфере экономики и финансов».
С именем Анатолия Сердюкова связан запуск кардинальной реформы Вооружённых Сил Российской Федерации (ВС России), придание им «нового облика». Катализатором, ускорившим принятие решение о реформе, стал военный конфликт с Грузией в августе 2008 года. Опыт участия российских Вооружённых Сил в конфликте выявил массу проблем, связанных как с недостатками системы управления войсками, так и с устаревшим вооружением, снаряжением и средствами связи.
Официально о начале реформы Анатолием Сердюковым было объявлено 14 октября 2008 года по завершении коллегии Министерства обороны Российской Федерации (Минобороны России). Изменения коснулись всех основных элементов Вооружённых Сил России.
Основные направления реформы:
Одной из инициатив Анатолия Сердюкова стала разработка новой формы военнослужащих, отвечающей современным требованиям. На создание новой формы из бюджета было выделено 100 млн рублей, полностью перейти на новое обмундирование планируется в 2011 году с общими затратами на переход не более 5,5 млрд рублей. В разработке формы помимо профильных организаций — Центрального научно-исследовательского института текстильной промышленности, Центрального научно-исследовательского института кожи и обуви и геральдического отдела Министерства обороны Российской Федерации — участвовали дома моды Валентина Юдашкина и Игоря Чапурина. Особенностями новой формы является замена сапог и портянок на ботинки и применение новых материалов и раскраски «Цифра», снижающих заметность военнослужащего на поле боя в видимом и тепловом диапазонах. В настоящее время новое обмундирование уже используется во многих частях Минобороны России, однако после полевых испытаний и ряда критических замечаний экспертов из обмундирования уже исключены некоторые декоративные элементы. Вместе с тем, критики отмечают, что после запуска формы в массовое производство значительно ухудшилось её качество.
26 марта 2007 года избран председателем совета директоров ОАО «Химпром».
С 9 апреля 2007 года — постоянный член Совета Безопасности Российской Федерации.
8 мая 2007 года Анатолий Сердюков снял гриф «секретно» с документов РККА и РККФ за период 1941-1945 годов.
За время работы на посту министра обороны Анатолий Сердюков осуществил масштабные кадровые перестановки в высшем военном руководстве. Сменились практически все заместители министра обороны, главкомы видов Вооруженных сил, командующие родами войск, а также военных округов и флотов. Наиболее знаковыми стали отставки главы Генштаба ВС России, генерала армии Юрия Балуевского, замминистра обороны по финансам Любови Куделиной, замминистра обороны по тылу генерала армии Владимира Исакова, главкома ВМФ адмирала флота Владимира Масорина, командующего РВСН генерал-полковника Николая Соловцова, начальника Главного разведывательного управления Генштаба ВС России, генерала армии Валентина Корабельникова, главкома Сухопутных войск генерала армии Владимира Болдырева, начальника Главного управления воспитательной работы (ГУВР) Вооруженных сил Российской Федерации генерал-лейтенанта Анатолия Башлакова. Уже к концу первого полугодия 2008 года кадровый состав заместителей и начальников служб главы Минобороны России обновился более чем на 70 %. Экспертами отмечается две характерные черты кадровой политики Анатолия Сердюкова: стремление к омоложению высшего командного состава и ставка на гражданских специалистов. К 2011 года из десяти заместителей министра обороны военными были только двое — начальник Генштаба ВС России Николай Макаров и генерал-полковник Дмитрий Булгаков, курирующий вопросы материально-технического обеспечения Вооруженных сил Российской Федерации.
18 сентября 2007 года Анатолий Сердюков подал прошение об отставке из-за родственных связей с назначенным Председателем Правительства России Виктором Зубковым. Однако Владимир Путин отставку не принял. 24 сентября стал известен новый состав Правительства, в котором за Сердюковым был сохранен портфель Министра обороны Российской Федерации.
Вступая в должность, одним из ключевых приоритетов своей деятельности Анатолий Сердюков обозначил реализацию программы обеспечения военнослужащих жильем. Согласно плану Минобороны, ликвидация очереди и переход на обеспечение военнослужащих жильем в год признания их нуждающимися в нем произойдет к 2013 году.
Согласно обнародованным в 2010 году сведениям о доходах членов Правительства Российской Федерации, за 2009 год Анатолий Сердюков заработал 2 767 768 рублей. В результате Министр обороны разделил по уровню доходов в правительстве последнее место с главой МВД Рашидом Нургалиевым.
Скорость и радикальность проводимых в Вооружённых Силах России преобразований вызвали массу крайне противоречивых оценок деятельности Анатолия Сердюкова со стороны экспертов, средств массовой информации и непосредственно военнослужащих. Оппоненты ставят ему в вину сугубо менеджерский подход к вопросам, непосредственно затрагивающим безопасность и обороноспособность страны, попытки коммерциализации вооружённых сил, а также неуважительное отношение к офицерскому корпусу. Сторонники указывают на то, что Анатолий Сердюков — первый Министр обороны, сумевший запустить масштабную реформу утратившей боеспособность армии, и прилагающий максимальные усилия к ее перевооружению, переоснащению и приведению к мировым стандартам.
Одним из наиболее последовательных и активных критиков Министра обороны является президент Академии геополитических проблем Леонид Ивашов. Комментируя назначение Анатолия Сердюкова, он назвал решение президента «плевком в лицо» и «унижением армии». По мнению Ивашова, Сердюков «может быть хорошим бизнесменом», но «совершенно не понимает роли офицера не только как ответственного за боеготовность и решение конкретных военных задач, но и в социальной сфере». Схожего мнения придерживается руководитель Центра военного прогнозирования Анатолий Цыганок, убежденный, что «Анатолий Сердюков не слишком понимает, что творит».
Член общественного совета при Минобороны Виталий Шлыков, напротив, считает Анатолия Сердюкова «храбрым бухгалтером», которому противостоит «множество жуликоватых генералов, которые просто держатся за кресла». Директор Центра анализа мировой торговли оружием (ЦАМТО) Игорь Коротченко полагает, что представление об Анатолии Сердюкове как о человеке, далеком от армии и занимающемся исключительно финансово-экономическими проблемами, в корне неверно. Как полагает эксперт, Сердюков «занимается комплексными проблемами, которые сегодня стоят перед российской армией». По мнению писателя и журналиста Леонида Млечина, Анатолий Сердюков — первый министр обороны, который реально реформирует Вооружённые силы, приводит их в соответствие с современными требованиями.
18-19 октября 2010 года в ряде изданий прошла информация о том, что Анатолий Сердюков во время посещения учебного центра «Сельцы» Рязанского воздушно-десантного училища якобы возмутился наличием на его территории храма, построенного на деньги спонсоров. По утверждению неназванных источников, Министр обороны приказал денег «на этот центр ВДВ не давать», «училище вообще сократить», а командира училища, героя России полковника Андрея Красова «снять и в войска». Публикации побудили Союз десантников России к развертыванию масштабной кампании с требованием отставки Анатолия Сердюкова и взятия реформы армии под парламентский контроль. В то же время сам Андрей Красов поднятой «шумихе» удивился и назвал инцидент исчерпанным. О том, что конфликт «выдуман на пустом месте», заявил командующий ВДВ генерал Владимир Шаманов. Позже замминистра обороны России Григорий Нагинский, сопровождавший Анатолия Сердюкова в поездке в «Сельцы», подтвердил, что министр разговаривал с полковником на повышенных тонах, но опроверг информацию о нецензурной брани и распоряжении о сносе храма. По словам замминистра, со стороны руководства части было допущено множество нарушений. Несмотря на это, Союзом десантников России был организован и проведен митинг с требованием отставки министра.
1 июля 2011 года при посещении города Владивосток в рамках подготовки к саммиту АТЭС Президент России Дмитрий Анатольевич Медведев выразил недовольство по поводу неразберихи в передаче земель, принадлежащих Министерству обороны, в муниципальную собственность Приморского края. Причём пообещал в случае затягивания этого процесса — уволить Сердюкова.
В ряде критичных по отношению к Сердюкову статей ему дается кличка — «мебельщик», «фельдмебель» или «Табуреткин», которая подчеркивает, что министр обороны до 2000 года был директором мебельной компании.
В Интернет-изданиях нередко появляются фельетоны и каррикатуры, посвященные министру обороны РФ Анатолию Сердюкову
Был старшим ребенком в семье, имеет младшую сестру Галину.
Катается на горных лыжах, увлекается рыбалкой и охотой.