Родился близ Берлина, в семье инженера-оптика. После окончания гимназии в апреле 1910 года поступает на службу в военно-морской флот кадетом, на тяжёлый крейсер «Херта». В сентябре 1913 года получает звание лейтенанта.
Служил офицером на крейсере «Бреслау» (в 1918 году подорвался на мине). В ноябре 1914 награждён Железным крестом 2-й степени.
С марта 1916 года — обер-лейтенант. В мае 1916 года награждён Железным крестом 1-й степени.
В декабре 1916 года прошёл переподготовку на подводника. Служил вахтенным офицером на U-39. 1 марта 1918 года назначен командиром ПЛ — UC-25 (тип UC-II). За время его командования ПЛ добилась 4 побед (16 тыс. брт). Затем был переведён на UB-68 (тип UB-III), на которой совершил один боевой поход. 3 октября 1918 года ПЛ атаковала охраняемый конвой, добилась попадания в транспорт, но была контратакована глубинными бомбами, получив повреждения, всплыла, после чего была расстреляна корабельной артиллерией. Экипаж покинул тонущую лодку и попал в плен (7 человек из экипажа погибло).
В июле 1919 года возвращается из британского плена, вновь служит в ВМС Германии, в 1920?1923 годах — командир миноносца (с 1921 — в звании капитан-лейтенант). С 1923 года — советник управления подводного флота в военно-морской инспекции. Служил штурманом крейсера «Нимфа». С 1930 года — старший офицер штаба Североморского района. В 1934-35 — командир крейсера «Эмден». С октября 1935 года — капитан цур зее (капитан 1-го ранга).
В сентябре 1935 года назначен командующим 1-й подводной флотилией Германии «Веддиген». С 1939 года — командующий подводным флотом.
С 1 октября 1939 года — контр-адмирал.
Карл Дениц лично осуществлял планирование операции против британской военно-морской базы Скапа-Флоу: 13-14 октября 1939 года немецкая подводная лодка U-47 под командованием Гюнтера Прина, специально отобранного для атаки на Скапа-Флоу Дёницем, проникла в гавань Скапа-Флоу через пролив Кирк-Саунд, перегороженный тремя блокшивами. В результате трёх торпедных залпов с подлодки был потоплен британский линкор «Ройял Оук». U-47 благополучно вернулась в Вильгельмсхафен 17 октября.
В апреле 1940 года награждён Рыцарским крестом. С 1 сентября 1940 года — вице-адмирал. В марте 1942 года присвоено звание адмирала.
С 30 января 1943 года — главнокомандующий военно-морскими силами Германии, гросс-адмирал.
В апреле 1943 года награждён Дубовыми Листьями к Рыцарскому кресту.
Карлу Дёницу приписывается спасение Восточной Пруссии весной 1945 года (во многом на основании его собственных мемуаров). Исследователь Х. Швендеман обвиняет его в обратном. Только 6 мая 1945 Дёниц присвоил эвакуации мирного населения важнейший приоритет и отдал для нужд эвакуации резервы горючего подлодок (с апреля транспортные суда стояли без горючего), и за 2 дня было эвакуировано около 120 000 человек. А с 23 января по 1 мая (то есть почти за 100 дней) было эвакуировано только 800 000 беженцев, 355 000 раненых и 215 000 солдат, но при этом в полном соответствии с концепцией «войны до победного конца» эвакуировалось вооружение, транспортные средства и т. д.
После самоубийства Гитлера, согласно его завещанию, Дёниц, находившийся во Фленсбурге, на Кильском канале, 30 апреля 1945 года был назначен президентом Германии. Так как Йозеф Геббельс, намеченный Гитлером в новые канцлеры, также покончил с собой на другой день после фюрера, то Дёниц поручил графу Людвигу Шверину фон Крозигу в первых числах мая 1945 года возглавить кабинет. Так называемое фленсбургское правительство прежде всего стремилось договориться с союзниками о прекращении огня. 7 мая представители Дёница подписали в Реймсе Акт капитуляции Германии перед представителями Англии, США и СССР. 8 мая повторно по требованию советской стороны в Карлсхорсте фельдмаршал Кейтель подписал акт безоговорочной капитуляции.
23 мая правительство Дёница и графа Шверина было арестовано американцами в полном составе; сам Дёниц был препровождён в Нюрнберг, где предстал перед судом.
Нюрнбергский трибунал за военные преступления (в частности, ведение т. н. неограниченной подводной войны) приговорил его к 10 годам лишения свободы. Этот приговор оспаривался некоторыми юристами, поскольку такие же методы подводной войны широко практиковали и победители. Некоторые офицеры-союзники (в частности, адмирал Нимиц) после приговора выражали Дёницу своё сочувствие. Дёниц был признан виновным по 2-му (преступление против мира) и 3-му (военные преступления) пунктам.
Дёниц был освобождён 1 октября 1956 из тюрьмы Шпандау в Западном Берлине. Он поселился в маленькой деревне Аумюле, в Шлезвиг-Гольштейне на севере Западной Германии, где и прожил остаток своей жизни в сравнительной безвестности. Дёниц получал капитанскую пенсию от западногерманского правительства, которое отказалось выплачивать адмиральскую, поскольку Дёниц служил Гитлеру. Он написал три книги:
Дёниц состоял в нерегулярной переписке с американскими исследователями немецкой военно-морской истории и старался отвечать на все письма в свой адрес и ставить автографы на открытки. Он не сожалел о своей роли в ходе Второй мировой войны, так как был твёрдо убеждён в том, что никто не будет уважать тех, кто предал свои убеждения или обязанности к своей нации, независимо от величины их предательства. Исходя из этого, Дёниц дал такую характеристику Гиммлеру (в связи с его переговорами о мире):
Дёниц скончался от сердечного приступа 24 декабря 1980 и похоронен 6 января 1981 на кладбище нем. Waldfriedhof без военных почестей. Он был последним немецким офицером в чине гросс-адмирала. Многие бывшие военнослужащие и иностранные военно-морские офицеры пришли на его похороны, чтобы отдать ему дань уважения. Однако им не было разрешено присутствовать в военной форме на похоронах.