К. М. Сергеев родился 20 февраля (5 марта) 1910 года в Санкт-Петербурге.
Занимался на вечерних курсах при ЛХУ, затем в самом училище. Ещё будучи студентом, начал танцевать в труппе И. Ф. Кшесинского, в конце 1920-х выступавшей с гастролями по всей стране, а по окончании училища (1930) был принят в ЛАТОБ имени С. М. Кирова, где работал до 1961 года. Обладая благородной внешностью и высочайшим актёрским мастерством, Сергеев с блеском исполнял ведущие партии классического репертуара, трактуя их в глубоко психологическом, правдивом ключе.
Первый исполнитель партий: Ленни («Тропою грома» К. А. Караева; 1958), Евгений («Медный всадник» Р. М. Глиэра и др. В 1930—1940 годах выступал вместе с Г. С. Улановой, их дуэт считается одним из лучших в истории русского балета. Именно Сергеев и Уланова были первыми исполнителями заглавных партий в первой постановке балета С. С. Прокофьева «Ромео и Джульетта» 11 января 1940 года. Исполнил также партии Альберта («Жизель» А. Адана), Принца («Золушка» С. С. Прокофьева). После войны Сергеев танцевал в дуэте с женой Н. М. Дудинской.
С 1946 года работал также балетмейстером, в 1951—1955 и 1960—1970 — главный балетмейстер ЛАТОБ имени С. М. Кирова. Осуществил первые постановки ряда современных советских балетов («Гамлет» Н. П. Червинского; 1970), а также новые редакции классических спектаклей, среди которых наиболее известны «Спящая красавица» П. И. Чайковского, «Раймонда» А. К. Глазунова, «Золушка» С. С. Прокофьева (1945, 1964) и многие другие. Автор сценария нескольких телефильмов-балетов, сам снимался в таких постановках, вёл цикл передач об истории русского балета.
Педагогическую деятельность вёл с начала 1930-х, с 1973 года преподавал в ЛХУ (с 1991 года Академия русского балета им. А. Я. Вагановой) классический танец и актёрское мастерство. Был художественным руководителем училища. Также работал за границей.
В 1953 году на киностудии «Ленфильм» был снят фильм «Мастера русского балета». В фильм вошли фрагменты балетов Б. В. Асафьева «Бахчисарайский фонтан» и «Пламя Парижа», а также балета «Лебединое озеро» П. И. Чайковского. Константин Сергеев исполнил в этом фильме партию принца Зигфрида с Одеттой — Г. С. Улановой и Одиллией — Н. М. Дудинской.
Первой женой Константина Михайловича Сергеева была балерина Ф. И. Балабина, их сын Николай Сергеев (1946—1973), артист балета театра имени Кирова, погиб в автокатастрофе.
К. М. Сергеев умер 1 апреля 1992 года. Похоронен на Литераторских мостках Волковского кладбища Санкт-Петербурга.