Закончил морской кадетский корпус, затем был мировым посредником Петергофского уезда и старшим нотариусом курского окружного суда. В 1873 поступил на сцену, играл в провинции, в 1879—1886 в Санкт-Петербурге, затем в Москве; неоднократно приезжал с частными труппами в Петербург. Киселевский исполнял роли трагиков и драматических резонёров. Лучшими в его репертуаре считаются роли Кречинского и Несчастливцева («Лес» А. Н. Островского).
Похоронен на Митрофаниевском кладбище Санкт-Петербурга, в 1936 году захоронение перенесено в Некрополь мастеров искусств.