Андрей Вилькицкий родился 1 (13) июня 1858 года в семье дворянина Борисовского уезда Минской губернии.
В 1875 году начал службу на Балтийском флоте юнкером.
В 1877 году, после сдачи экзаменов специальном юнкерском классе Морского корпуса, он был произведен в гардемарины.
В сентябре 1878 года Вилькицкий производится в свой первый офицерский чин — мичман.
В 1880 году окончил Николаевскую морскую академию, специализируясь по гидрографии.
В 1887 году был командирован во главе Арктической гидрографической экспедиции в Хайпудырскую губу и на архипелаг Новая Земля для определения ускорения силы тяжести посредством маятника. По итогам экспедиции был награжден двумя золотыми медалями Русского Географического общества.
С 1894 по 1896 год подполковник Вилькицкий возглавлял гидрографическую экспедицию на пароходе «Лейтенант Овцын» и ряде вспомогательных судов, исследовавшей морское побережье на участке от устья Печоры до Енисея, в Енисейском заливе и Обской губе
В 1898—1901 годах полковник Вилькицкий руководил исследованиями устьев рек Печора, Енисей, южной части Карского моря, составил подробные карты этого района.
С 1907 года начальник Главного гидрографического управления, его заместителем был талантливый гидрограф Н. В. Морозов.
В 1909 году произведён в генерал-лейтенанты Корпуса флотских штурманов. Вилькицкий организовал при ГГУ штурманский офицерский класс. Под его руководством был разработан 30-летний план гидрографических работ во всех морях России и десятилетний план постройки маяков.
В 1912 году в Петербурге под руководством генерала А. И. Вилькицкого была проведена вторая Международная морская конференция по обеспечению безопасности мореплавания. Рено, руководитель французской делегации на Международной морской конференции 1912 г., в частности, отмечал: «...В России образовалась группа гидрографов, которая служит предметом удивления для всех специалистов».
В 1912 году по инициативе Вилькицкого был учрежден особый Корпус гидрографов. Учреждение этого корпуса юридически закрепило в Российском флоте специальность гидрографа, способствовало повышению качества и эффективности навигационного обеспечения военного и транспортного флотов. В корпусе было 10 генеральских должностей, 72 штаб-офицерские (полковники, подполковники) и 124 обер-офицерские (капитан, штабс-капитан, поручик, подпоручик). Специалисты корпуса подразделялись на гидрографов и гидрографов-геодезистов. В Положении о корпусе были оговорены условия зачисления и прохождения службы.
В 1913 году А. И. Вилькицкий был зачислен в Корпус гидрографов со званием гидрографа-геодезиста, произведен в полные генералы Корпуса гидрографов и уволен со службы по болезни.
В течение службы Андрей Ипполитович был награжден орденами св. Станислава I степени, св. Владимира III степени, св. Анны III степени.
26 февраля (11 марта) 1913 года, на 54-м году жизни, генерал Вилькицкий скончался и был похоронен на Смоленском православном кладбище .
Именем Вилькицкого названы мыс, ледник, гора и залив на архипелаге Новая Земля, остров и острова Вилькицкого в Карском и острова в Восточно-Сибирском морях.
В декабре 2002 года на доме № 96 по каналу Грибоедова, где жил А. И. Вилькицкий, была установлена мемориальная доска. Андрей Ипполитович Вилькицкий является одним из наиболее уважаемых специалистов в среде военных гидрографов.
Андрей Ипполитович Вилькицкий ? отец российского гидрографа Бориса Вилькицкого.