Родился в семье судетских немцев, переехавших в Польшу. После вторжения нацистской Германии в Польшу был мобилизован на трудовую повинность, а затем в немецкую армию. Воевал на Восточном фронте, был тяжело ранен под Сталинградом. Оказался в советском плену, где выучил русский язык, читая в лазарете Пушкина и Лермонтова.
Был освобожден в 1950, поселился в Веймаре. В 1952 переехал в ФРГ. Служил в страховой компании Allianz. В свободное время начал заниматься художественным переводом с польского. В 1959 опубликовал первый сборник своих переводов Уроки молчания, куда вошли произведения Чеслава Милоша, Виславы Шимборской, Станислава Ежи Леца, Збигнева Херберта, Тадеуша Ружевича.
В 1979 основал Немецко-польский институт в Дармштадте, которым руководил до 1999. По его инициативе и при активнейшем участии издательством была издана Польская библиотека в 50 томах (1982-2000), Панорама польской литературы ХХ века в 7 томах (1996-2000).
С русского переводил произведения Маяковского, Есенина, Бродского.
Автор мемуарной книги Европеец из Лодзи (2006).
Почетный доктор нескольких университетов, лауреат многочисленных премий и других наград. Премия мира немецких книготорговцев (1990). Имя Дедециуса носит гимназия с углубленным изучением немецкого языка в Лодзи (2002). В 2004 в ФРГ учреждена переводческая премия имени Карла Дедециуса. Лауреат Немецкой национальной премии (2010).