Родился в семье петербургского дворянина генерала от инфантерии Бориса Андреевича Фредерикса, происходившего из нарвского мещанского рода, с первой половины XVIII века состоявшего на русской службе и получившего в 1773 году баронский титул.
Получил домашнее образование.
В 1856 году вступил вольноопределяющимся в лейб-гвардии Конный полк и прослужил в нём до 1871 года (с 1869 полковник).
С 1871 года — флигель-адъютант при императоре Александре II.
C 27 июля 1875 года по 14 июля 1883 года командир лейб-гвардии конного полка в звании генерал-майора.
С 1881 года — командир 1-й бригады 1-й гвардейской кавалерийской дивизии.
В 1891—1893 годы — шталмейстер Двора.
С 1 декабря 1893 по 1897 год помощник министра императорского двора и уделов на правах товарища министра.
В 1896 году — генерал-адъютант.
С 6 мая 1897 года 28 февраля 1917 (вплоть до падения монархии) — министр императорского двора (министерство управляло дворцами и земельными владениями императорской семьи). Одновременно состоял канцлером российских императорских и царских орденов.
С 14 июля 1897 года — командующий Императорской Главной квартирой.
6 декабря (тезоименитство императора Николая) 1900 года произведён в генералы от кавалерии.
4 ноября 1905 года назначен членом Государственного совета с оставлением во всех прежних должностях. В работе совета участия не принимал.
23 декабря 1905 года назначен шефом 4-го эскадрона Конного лейб-гвардии полка
В 1908 году избран почётным жителем города Новониколаевска, «ввиду его заслуг городу в деле выкупа земель у Кабинета Его Величества».
При Высочайшем рескрипте от 25 марта 1908 года пожалован кавалером ордена Андрея Первозванного — к 50-летию «примерного служения» (слова высочайшего рескрипта).
Высочайшим рескриптом от 21 февраля 1913 года (празднование 300-летия царствования дома Романовых) ему был пожалован графский титул.
С началом 1-й мировой войны находился с Николаем II в Могилёве, сопровождал Николая II во всех поездках. Пользовался исключительным доверием императора, о чём его подчинённый генерал А. А. Мосолов писал: «Моральное одиночество, наложенное на себя царём с юного возраста, было тем более опасным, что Николай II относился недоверчиво даже к лицам ближайшего окружения. Один граф Фредерикс являлся исключением.» Бывший председателем Совета министров граф С. Ю. Витте писал о нём в своих записках:
Высочайшею грамотою от 10 апреля 1916 года был пожалован бриллиантами украшенными соединёнными портретами императоров Александра II, Александра III и Николая II на Андреевской ленте — в честь 60-летия службы в л.-гв. Конном полку и 25-летия службы на высших должностях в Министерстве двора.
К моменту Февральской революции 1917 года 79-летний больной старик страдал потерей памяти. Влияния на императора не имел, но пользовался его полным доверием. В государственные дела не вмешивался, занимался только управлением имуществом Николая II через начальника канцелярии Министерства императорского двора.
27—28 февраля солдатами и толпой одним из первых был разграблен и сожжён его особняк в Петрограде.
2 марта 1917 года в Пскове своей подписью скрепил машинописный лист с Актом об отречении Государя Императора Николая II от престола, аутентичность которого (равно как и его подписи) ставится некоторыми исследователями под сомнение.
5 марта по требованию Временного правительства удалён из местопребывания императора, а 9 марта 1917 года был арестован в Гомеле железнодорожными рабочими. При обыске в вагоне отобрали печать министра, оружие, дневники и различные документы. По телеграмме А.И. Гучкова и А. Ф. Керенского отправлен в Петроград, доставлен в Таврический дворец. Допрашивался Чрезвычайной следственной комиссией. 11 марта по рекомендации врачей-психиатров перевезён в Евангелическую больницу. Вскоре был освобожден, жил в Петрограде.
В 1924 году обратился к советскому правительству с просьбой о выезде за границу. Получив разрешение, вместе с дочерью выехал в том же году в Финляндию где и скончался 5 июля 1927.
Жена — Богушевская, Ядвига Алоизиевна.
Дочери: Евгения и Эмма.