Родился в семье отставного капитана 2-го ранга Иллариона Николаевича Скрыдлова (р. 1799). Окончил Морской кадетский корпус (1862). Командующий яхтой «Никса» (1875—1876). Отличился в ходе русско-турецкой войны 1877—1878 гг., когда на Дунае командовал минным катером «Шутка», на котором впервые в мировой истории совершил дневную минную атаку кораблей противника, во время которой был тяжело ранен. За эту атаку был награждён орденом Св. Георгия 4-й степени (1877). Этому событию посвятил свою картину художник А. П. Боголюбов.
Командир парохода «Карабия» (1878—1879). Старший офицер фрегата «Светлана» (1878-1882). Командир клипера «Стрелок» (1883—1886), фрегата «Дмитрий Донской» (1886-1889), эскадренного броненосца «Гангут» (1889-1893). Исполняющий должность главного инспектора минного дела (1894—1898). Командующий отдельными отрядами судов Балтийского (1895, 1896) и Средиземного (1898—1899) морей. Был флагманом русской эскадры на торжествах в честь 60-летия правления британской королевы Виктории (1897), представлял Российский флот на похоронах Президента Французской республики Ф. Фора в 1899 г. Начальник эскадры Тихого океана (1900—1902). Контр-адмирал (30 августа 1893), Вице-адмирал (3 июля 1900). Главный командир Черноморского флота и портов Чёрного моря (27 января 1903—1904).
После гибели адмирала С. О. Макарова назначен командующим флотом в Тихом океане (1 апреля 1904), в Порт-Артур приехать не успел, а потому вступил в должность 9 мая 1904 во Владивостоке, но вскоре возвращен в Петербург с назначением членом Адмиралтейств-совета (20 декабря 1904).
После убийства Г. П. Чухнина назначен на его место командующим Черноморским флотом и портами Чёрного моря (1906—1907), затем вновь возвращен в Адмиралтейств-совет.
С 1904 г. по 1909 г. — член Адмиралтейств-совета, почетным членом Императорского российского общества спасания на водах (с 1904). В августе 1909 г. уволен в отставку. Продолжал активно заниматься вопросами развития отечественного мореплавания и промышленности, был членом Особого комитета по усилению военного флота на добровольные пожертвования, директором правления судоходного и пароходного общества «И. И. Конецкий», членом Совета съездов судовладельцев, членом правления «Русского дальневосточного промышленного акционерного общества».
После объявления большевиками политики Красного террора был взят в заложники и в октябре 1918 года был казнен. Похоронен в своём родовом имении Спас-Берёза, ныне Оленинский район Тверской области (могила сохранилась).