Александр Алексеевич Васильчиков родился в семье сенатора Алексея Васильевича Васильчикова (1776—1854) и Александры Ивановны, урождённой Архаровой (1795—1855).
Учился в 1-й Московской гимназии. По окончании курса на историко-филологическом факультете Московского университета (1855) служил по министерству иностранных дел, при российской миссии в Риме, а потом при русском посольстве в Карлсруэ.
В 1879—1889 годах был директором Императорского Эрмитажа и одновременно,с 1882 по 1886 годы — председателем Императорской Археологической комиссии. Состоявший в ведомстве иностранных дел, Васильчиков был хорошо знаком с музеями Европы и занимался вопросами искусства. Он нашёл остроумный способ расширять коллекции Эрмитажа путем передачи в музей произведений искусства из императорских дворцов: так, из Петергофа были переданы 22 картины, среди которых «Давид и Ионафан» Рембрандта. Пополнилось античное собрание, в которое в 1884 году влилась уникальная коллекция танагрских терракот П. А. Сабурова, а в 1888 году — коллекция античных памятников А. Д. Блудова.
В 1885 году в Париже у А. П. Базилевского была куплена замечательная коллекция произведений прикладного искусства Средневековья и Возрождения. Это приобретение послужило толчком для образования в музее нового отделения. Одновременно Эрмитаж обогатился собранием оружия из Царскосельского Арсенала. Во время директорства Васильчикова в Эрмитаже начали работать выдающиеся ученые: египтолог В. С. Голенищев, археолог Г. Е. Кизерицкий, составивший рукописный каталог собрания Отделения древностей; знаток византийского искусства Н. П. Кондаков и историк искусства А. И. Сомов, возглавивший в 1886 году Картинную галерею.
Александр Алексеевич Васильчиков был женат на графине Ольге Васильевне Олсуфьевой (1835—1915), дочери московского губернатора графа Василия Дмитриевича Олсуфьева (1796—1858) и Марии Алексеевны Спиридовой (1800—?). В браке родилась единственная дочь Мария (1859—?) и сыновья Алексей (1862—1900), Павел (1865—1941), Пётр (1867—1879).