Родился в дворянской семье. Воспитывался в Школе гвардейских подпрапорщиков и кавалерийских юнкеров. В 1860 году был принят на службу в Особую канцелярию Министерства иностранных дел. Пережил бурное увлечение гастролировавшей зарубежной актрисой, оставил службу и выехал за границу. Жил в Италии, Франции, Германии, Англии, Испании. Встречался с видными деятелями науки и культуры. В 1867 году, вернувшись из-за границы, служил при варшавском генерал-губернаторе.
Дрался на дуэли, был ранен. В 1868 году вновь уехал за границу. Познакомился с И. С. Тургеневым и выдающимися французскими писателями и сам стал серьёзно заниматься литературой. Вернувшись в Россию, служил при виленском генерал-губернаторе А. Л. Потапове, затем при московском генерал-губернаторе князе В. А. Долгорукове. Получил звания сначала камер-юнкера (1872), затем камергера.
В последние годы жизни, уже приговорённый к смерти, страдая мучительным удушьем — следствием астмы, Козлов продолжал интересоваться литературой и диктовал сцены из намеченной им стихотворной комедии из великосветского быта. Похоронен на кладбище Донского монастыря.
Первые стихотворения пытался опубликовать в середине 1850-х годов. Дебютировал в печати переводом «Еврейских мелодий» Байрона в журнале «Библиотека для чтения» (1859; отдельное издание — Санкт-Петербург, 1860).
В 1870-х годах стихотворения и, главным образом, стихотворные переводы Козлова печатались в «Заре», «Вестнике Европы», «Русском вестнике», «Огоньке», «Всемирной иллюстрации» и других периодических изданиях, а также выходили отдельными изданиями. Оригинальные стихотворения Козлова ничем особенным не выдаются, но очень музыкальны: некоторые его романсы, например, «Забыли вы…» («Глядя на луч пурпурного заката», автор музыки А. А. Оппель) приобрели большую известность. На стихотворение «Когда б я знал…» Козлов сам написал музыку (1880). В 1884 году вышло двухтомное собрание стихотворений Козлова.
В переводах Козлова были изданы поэмы Альфреда де Мюссе «Ива» (1873) и «Намуна» (1884). Перевёл также трагедии Уильяма Шекспира «Юлий Цезарь» и «Перикл», стихотворения Юлиуша Словацкого, Владислава Сырокомли, Юзефа Залеского и других польских поэтов. Главная литературная заслуга Козлова — в его образцовых переводах Байрона («Манфред», «Дон-Жуан», «Паломничество Чайльд-Гарольда», первые 3 песни, и «Беппо»), помещённых первоначально в «Русской мысли». Особенно обращает на себя внимание полный перевод «Дон Жуана», сделанный замечательно близко к подлиннику и притом чисто байроновским стихом. Публика достойно оценила труд Козлова: за первым изданием (Москва, 1889) менее чем через год последовало второе. Перевод «Дон Жуана» Козлова, сделанный стихом, близким к подлиннику, долгое время оставался лучшим переводом поэмы Байрона.