Родился в селе Скуратово Трубчевского уезда Орловской губернии, сын секунд-майора. В 1790 году поступил в Пажеский корпус, откуда, в 1796 году, не пройдя полного курса, был выпущен поручиком в армию в московский гренадерский полк. С 1798 года служил в различных правительственных учреждениях. В 1821—1834 годах был Вологодским гражданским губернатором и умер в чине действительного статского советника в Санкт-Петербурге, похоронен на Митрофаниевском кладбище.
Член ВОЛСНХ, ОИДР.
В 1805 г. он издавал «Журнал российской словесности»; затем участвовал в «Вестнике Европы» и отдельно издал следующие книги:
Последний труд удостоен почетного отзыва Академии Наук. Но наиболее важной заслугой Брусилова является издание «Журнала российской словесности», который можно назвать самым передовым журналом того времени; главный отпечаток положило на него сотрудничество Пнина, хотя наибольшее количество статей принадлежало самому издателю.