Коссович К. А. родился в семье униатского священника. Сначала он учился в Полоцком высшем пиарском училище (1824—1830). После закрытия последнего перешёл в Витебскую базилианскую гимназию. Закончив гимназию через год, Коссович обратил на себя внимание Карташевского Т. И., тогдашнего попечителя Белорусского учебного округа. Проработав некоторое время репетитором у Карташевского, был направлен им по своей просьбе в Московский университет для продолжения образования.
Университет окончил в 1836 году, получив звание кандидата по первому (словесному) отделению философского факультета. После этого занялся частным репетиторством, сначала работая и живя в доме профессора университета Шевырева С. П. Потом переехал в особняк княгини Оболенской, где был домашним учителем. Также Коссович давал уроки греческого языка и санскрита Б. Н. Чичерину и В. П. Минаеву.
По требованию Московской учебной округи отработать пять лет за обучение он переехал в Тверь, где был назначен учителем греческого языка в Тверскую гимназию и проработал в ней с 1839 по 1843 гг. Здесь Коссович самоучкой стал изучать санскрит, древнееврейский и арабский языки. В 1843—1849 гг. работал в Москве учителем греческого языка во 2-й гимназии. Также в 1845—1847 гг. был преподавателем Лазаревского института восточных языков. В это время Коссович получает известность благодаря нескольким переводам с санскрита, напечатанным в журнале «Москвитянин», и работам в области греческого языка.
В 1849 году переехал в Петербург, где занялся репетиторством (был учителем А. Н. Майкова). 22 июня 1850 года он был назначен редактором учёных работ в Императорскую Публичную библиотеку по представлению директора этого учреждения Корфа М. А. Здесь проработал до конца своей жизни, выполняя функции библиотекаря. Его усилиями был создан ценный книжный фонд под названием «Россика». В 1851 году Коссович был командирован на 8 месяцев в Лондон для пополнения этой коллекции. С 1853 года числился заведующим Отделением книг на восточных языках, где провёл большую реорганизаторскую работу.
В 1858 году он был допущен к преподаванию санскрита в Петербургском университете без оплаты, а в 1860 году включен в штат университета на должность экстраординарного профессора. Преподавал санскрит, авестийский и древнеперсидский языки.
Похоронен на Смоленском православном кладбище Петербурга.
Самостоятельных исследований Коссович не имел. Он был известен прежде всего своими переводами.
Как эллинист он перевёл в 1843 г. «Элементарную грамматику» Р. Кюнера, выдержавшую 4 издания. Вместе со братом Игнатием Коссовичем выпустил греческо-русский словарь (1848), удостоенный Демидовской премии.
Как санскритолог он в 1844 году в «Москвитянине» выпустил первый свой перевод с санскрита — «Супдас и Упесундас. Эпизод из Магабгараты». За эти последовали и многие другие, в частности перевод «Багават-гита» (1854). В 1854 году он начал издавать санскрито-русский словарь, оставшийся неоконченным.
В качестве ираниста изучал авестийский язык и занимался переводом самой «Авесты». Переводы этой книги были напечатаны в Париже и Петербурге на латинском языке и принесли автору международную известность. Самым крупным трудом учёного стало издание в 1872 году полного корпуса переводов древнеперсидских клинообразных надписей на латинский.
По гебраистике Коссович известен переводами «Еврейской грамматики» В. Гезениуса (1874) и «Еврейской хрестоматии, с ссылками на грамматику Гезениуса и глоссарием еврейско-русским» (1875).
Являлся кавалером орденов Владимира 3-й степени, Анны 1-й степени, Станислава 1-й и 2-й степени, персидского ордена Льва и Солнца 1-й степени.