Окончил Пажеский Его Императорского Величества корпус. В 1889—1894 гг. адъютант главнокомандующего войсками гвардии и Петербургского военного округа, в 1894 г. шталмейстер двора, с 1899 г. офицер для особых поручений при Военном министерстве. Флигель-адъютант (1902). Генерал-майор свиты (1909).
Учился музыке у Теодора Лешетицкого (фортепиано), Ивана Мельникова (вокал), Василия Вурма (корнет-а-пистон). В 1882 г. основал частный оркестр, который с 1898 г. начал давать «народные» (общедоступные) симфонические концерты. В 1908 году пожертвовал 20 000 рублей на учреждение стипендий имени Н. А. Римского-Корсакова в Петербургской консерватории. В 1910—1916 гг. возглавлял в Санкт-Петербурге Музыкально-историческое общество, концерты которого составляли заметное дополнение к музыкальной жизни российской столицы: оркестр общества, в частности, познакомил публику с произведениями таких композиторов, как Ян Сибелиус и Рихард Штраус, а 21 декабря 1913 (3 января 1914) в обществе по инициативе Шереметева была представлена российская премьера оперы Рихарда Вагнера «Парсифаль» с приглашённой из Парижа Фелией Литвин в партии Кундри. По инициативе Шереметева в Петербурге были установлены мемориальные доски Александру Даргомыжскому, Милию Балакиреву, Александру Серову и Модесту Мусоргскому, проводился всероссийский сбор средств на памятник Чайковскому. В 1901—1917 гг. начальник Придворной певческой капеллы.
В 1892—1894 гг. первый председатель Российского Пожарного общества. В 1892 году участвовал в устройстве Всероссийской пожарной выставки. Издавал журнал «Пожарный».
С 1918 г. в эмиграции.
С 1883 года женат на графине Марии Фёдоровне Гейден (1863—1939). Супруги имели детей: