Александр Зилоти родился 27 сентября (9 октября) 1863 г. в Харькове, по материнской линии двоюродный брат С. В. Рахманинова, а также его учитель. Закончил Московскую консерваторию, класс Николая Григорьевича Рубинштейна. После окончания консерватории учился у Ференца Листа. Выступая в концертах, Зилоти приобрёл громкую известность своей изящной, талантливой игрой. В 1880—1890 занимал должность профессора фортепьянной игры в Московской консерватории. С 1900 его постоянным местом жительства был Санкт-Петербург. Во время сезона 1901—1902 гг. он впервые дирижировал симфоническими концертами Филармонического общества в Москве. Не менее интересные концерты Зилоти устраивал в Санкт-Петербурге. В его программах русскому творчеству было отведено весьма значительное место. В концертных программах А. И. Зилоти сотрудничал его друг и коллега А. В. Оссовкий.
С 1922 г. Зилоти жил в США, преподавал игру на фортепиано в Нью-Йорке, в Джульярдской школе. Музыкант скончался 8 декабря 1945 г. в Нью-Йорке. Похоронен на Ново-Дивеевом кладбище, 100 Smith Road, Nanuet New York.