Родился 6 августа 1949 года в Москве. В 1972 году — окончил МИЭМ. После учёбы работал инженером в Конструкторском бюро полупроводникового машиностроения.
С 1974 года на службе в органах госбезопасности.
Начинал службу с должности младшего оперуполномоченного Первомайского райотдела Управления КГБ СССР по Москве и Московской области.
Дважды принимал участие в боевых действиях в составе ограниченного контингента Вооружённых Сил СССР (ОКСВА) в Афганистане.
С 1990 года — заместитель начальника Московского управления ФСК России.
С 1994 года — заместитель директора ФСК России.
Указом Президента России от 20 июня 1996 года № 965 был назначен исполняющим обязанности директора Федеральной службы безопасности Российской Федерации. С 9 июля 1996 года по 25 июля 1998 года — директор ФСБ России.
С 1998 года — заместитель генерального директора концерна «Научный центр».
С 1999 года — депутат Государственной Думы, в Госдуме третьего созыва был заместителем председателя комитета по безопасности, в Госдуме четвёртого созыва и пятого созывов (с 2004 года) возглавляет комитет по делам ветеранов.
Однофамилец Николая Ковалёва, работавший в одно время с ним в верхних эшелонах власти, — бывший министр юстиции Валентин Ковалёв.
Об увольнении в запас неизвестно.
17 ноября 1998 офицеры ФСБ провели пресс-конференцию в здании «Интерфакса». В ходе конференции офицеры рассказали, что вышестоящее начальство приказало им убить Б. А. Березовского. По их словам подобное безобразие началось в ФСБ с приходом Ковалёва, который также в своём кабинете убеждал офицера А. В. Литвиненко не давать показания Главной военной прокуратуре.