Родился в семье почтмейстера Дубоссарского уезда Херсонской губернии надворного советника Ивана Петровича Рачковского и Магдалины Матвеевой, дочери дворянина Лисовского.
В 1867 году в возрасте 16 лет Пётр Рачковский поступает на работу в качестве младшего сортировщика Киевской губернской почтовой конторы. Немногим более чем через год, 11 сентября 1868 года, он был перемещен, согласно личной просьбе, в той же должности, поближе к родителям, в пограничную почтовую контору в Одессе.
В январе 1869 года оставляет почтовое ведомство. С апреля 1869 года по март 1873-го Рачковский — чиновник канцелярии Одесского градоначальника с откомандированием его в 1869—1871 годах в распоряжение Одесского полицмейстера.
16 марта 1873 года Рачковский увольняется из канцелярии и уезжает в Варшаву. В Варшаве, куда он прибыл в апреле 1873 года, Рачковского ждало место чиновника для письма канцелярии Варшавского губернатора. Долго он здесь не задержался и уже в августе 1874 года оказался в должности секретаря Калишского губернского правления с жалованием 600 рублей в год. 19 марта 1875 года Рачковский становится секретарем Калишского губернского правления по крестьянским делам. Затем Рачковский работает судебным следователем в Ковно и Архангельской губернии.
Весной 1879 года П. И. Рачковский был арестован из-за связи с неким Семенским, подозревавшимся в укрывательстве террориста Л. Ф. Мирского после его покушения на шефа жандармов Д. Р. Дрентельна. Находясь под следствием, Рачковский выразил готовность оказать полиции агентурные услуги.
В 1885 году Рачковский был назначен заведующим Заграничной агентурой Департамента полиции Министерства внутренних дел. В 1886 году Рачковский и его агенты разгромили крупную народовольческую типографию в Швейцарии. В Париже Рачковский организует агентурную работу. Весь его постоянный персонал состоит из двух человек, размещающихся в небольшом отдельном помещении в русском посольстве в Париже. Для наружного наблюдения за революционерами нанимаются филёры из отставных служащих французской полиции. Рачковский организует кампании во французской прессе против революционных эмигрантов, устанавливает тесные контакты с французской полицией, с которой он делит работу по слежке за революционерами.
Рачковский был уволен со службы министром внутренних дел В. К. Плеве 15 октября 1902 года. В бумагах Плеве найдена записка на имя императора, в которой Рачковский обвиняется в многочисленных должностных злоупотреблениях. Рачковский был крайне недоволен своим увольнением и в частном письме к П. П. Гессе писал: «Вообще, я сильно ошибся в Плеве. Многие факты убеждают меня, что этот человек стремится к диктатуре, и если его своевременно не оборвут, он причинит много бед Монархии и России!!...» 15 июля 1904 года Плеве был убит бомбой террориста, а в начале 1905 года Рачковский вернулся на службу в Департамент полиции.
В 1909 году было установлено, что организатором убийства Плеве был агент Департамента полиции Евно Азеф, много лет сотрудничавший с Рачковским. В связи с этим некоторые авторы высказывали мнение о причастности Рачковского к убийству Плеве. Этого мнения придерживались разоблачитель Азефа В. Л. Бурцев, бывший сотрудник Варшавского охранного отделения М. Е. Бакай и исследователь архивов заграничной охранки В. К. Агафонов.
Сам Рачковский отрицал факт своего раннего знакомства с Азефом, утверждая, что познакомился с ним только в 1905 году. Между тем факт раннего знакомства Рачковского и Азефа был официально подтверждён бывшим директором Департамента полиции А. А. Лопухиным во время судебного процесса над ним в 1909 году. На суде Лопухин заявил, что в 1902 году Рачковский просил его выдать Азефу 500 рублей для передачи террористу Григорию Гершуни. Лопухин вызвал Азефа к себе и имел с ним беседу, но ничего подозрительного в его ответах не заметил. По мнению же Бурцева, Азеф был агентом Рачковского ещё за семь лет до образования партии эсеров.
В начале 1905 года Рачковский при содействии Д. Ф. Трепова вернулся на службу в Департамент полиции, а летом того же года назначен его вице-директором. Последним делом Рачковского на этом посту была вербовка бывшего священника Георгия Гапона, закончившаяся убийством последнего группой эсеров-боевиков в марте 1906 года в Озерках. В 1906 году вышел в отставку и более не возвращался к политической деятельности полиции.