Ученик и последователь Н. М. Пржевальского. Действительный член АН УССР (1928), почётный член Русского географического общества.
Учился в Александровском реальном училище в Смоленске.
В 1907 году встречался с Далай-ламой XIII, который выехал из Тибета по вызову Циньского двора и на момент встречи с Козловым находился в Урге.
Во время Монголо-Сычуаньской экспедиции (1907—1909 гг.) П. Козлов открыл остатки мёртвого тангутского города Хара-Хото. В ходе раскопок, проведённых в Хара-Хото весной 1909 года, была обнаружена библиотека, состоявшая из самого крупного свода текстов на тангутском языке (число около 2000 свитков). Среди них — уникальные произведения буддийской литературы, неизвестные ранее и не имеющие параллелей на других языках. На данный момент основной корпус текстов, привезённых Козловым в Россию, хранится в Санкт-Петербурге в Институте восточных рукописей РАН.
Его последняя экспедиция в Монголию и Тибет в 1923—1926 годах (Монголо-Тибетская) оказалась неудачной. Из-за политических интриг ему так и не удалось выехать из Урги. Вынужденный сосредоточиться на изучении Монголии, П. Козлов принимает решение о раскопках курганов хуннской аристократии (конец I в. до н. э. — начало I в. н. э.) в горах Ноин-Ула (Ноин-Улинские курганы). Вскрытие могильников увенчалось новыми научными открытиями мирового значения.
Отойдя от научной работы, Пётр Козлов жил попеременно в деревне под Новгородом и в своей квартире в Ленинграде. Умер от склероза сердца в санатории в Петергофе. Похоронен в Ленинграде на Смоленском лютеранском кладбище.
Козлов быд знаком с Фридрихом Фальц-Фейном и посылался Временным правительством Российской империи для охраны уникального памятника природы — заповедника Аскания-Нова — в период революционных событий.