Сын польского помещика. Начальное образование получил в гимназии Плоцка. Затем учился на инженера в Варшаве.
В 1841 году поступил в Петербургский университет, окончил его в 1845 с золотой медалью. Ученик А. Н.Савича и В. Я. Струве.
В 1846 году стажировался в Пулковской обсерватории.
В 1847—1849 годах работал в экспедиции по определению географических координат пунктов Северного Урала.
С 1852 — профессор Казанского университета, с 1854 — директор обсерватории этого университета.
Основные научные работы относятся к небесной механике. Активно вёл астрономические наблюдения, сочетая их с теоретическими исследованиями. Впервые выдвинул идею о вращении нашей звёздной системы (в работе «О законах собственного движения звёзд каталога Брадлея»).
Критикуя в ней гипотезу И. Г. Медлера о существовании динамического центра Галактики в скоплении Плеяды, разработал метод определения движения Солнечной системы в пространстве, часто применяемый и теперь.
Доказал, что, звёзды образуют единую систему без какого-либо тела с гигантской массой в центре.
Обнаружил уменьшение собственных движений звёзд с приближением их к средней линии Млечного Пути.
Дал математическое решение задачи нахождения центра вращения Галактики из анализа собственных движений звёзд.
В 1852—1856 разработал теорию движения Нептуна с учётом долгопериодических возмущений от Урана, Сатурна, Юпитера.
Изучал одну из основных проблем небесной механики — проблему разложения в ряд пертурбационной функции, определяющей величину взаимных возмущений небесных тел.
Развил теорию солнечных и лунных затмений и предложил удобный метод предвычисления покрытий звёзд Луной.
В 1872 году дал наилучший из предложенных к тому времени способ определения орбит двойных звёзд из наблюдений, не утративший своего значения и теперь. Разработал оригинальную теорию рефракции.
В Казанской обсерватории проводил наблюдения положений звёзд, составил каталог более 4200 звёзд, в зоне AG от +75 до +80 (со звёздной величиной до 9,5m). Вёл большую преподавательскую работу.
Один из основателей Русского астрономического общества, член многих отечественных и зарубежных научных обществ.
В 1951 были опубликованы «Избранные труды по астрономии» Ковальского.
В честь Ковальского названы кратеры на Луне и Марсе.