Родился в крестьянской семье. После окончания средней школы работал в сельхозкоммуне, возглавлял комсомольскую ячейку. Член ВКП(б) с 1927 года.
В 1932 году окончил инженерный факультет Сельскохозяйственной академии им. Тимирязева. В 1932—1934 годах работал в издательстве «Сельхозгиз» заведующим редакции. В 1934—1935 годах служил в Красной Армии, затем вновь вернулся в издательство, став заместителем главного редактора.
В начале 1938 года в разгар массовых репрессий из-за отсутствия квалифицированных кадров было решено провести «партнабор» в органы НКВД. Фитин был направлен на учёбу на специальные ускоренные курсы Школы особого назначения в числе других гражданских специалистов.
В ноябре 1938 года стал стажёром в 5-м отделе ГУГБ НКВД СССР (внешняя разведка) и уже в конце того же года был назначен заместителем начальника отдела, а в 1939 году возглавил всю внешнюю разведку органов госбезопасности и проработал в должности до 1946 года.
Выдающиеся организационные способности П. М. Фитина проявились в годы Великой Отечественной войны. Возглавляя внешнюю разведку, он приложил огромные усилия, чтобы обеспечить руководство страны информацией о замыслах немецкого командования, сведениями о возможности открытия «второго фронта».
Разведкой был получен план германского наступления на Курской дуге, получались сведения о сепаратных переговорах американцев с нацистами в Швейцарии, велись «радиоигры», оказывалась помощь партизанскому движению.
Неоценимый вклад внесла руководимая Фитиным служба в создание в СССР ядерного оружия.
Считается, что плохо относившийся к Фитину ещё с довоенных времен Лаврентий Берия добился в июне 1946 года его освобождения от занимаемой должности и направления в советскую оккупационную зону в Германии заместителем уполномоченного МГБ.
В 1947 году П. М. Фитина назначили на должность заместителя начальника управления госбезопасности по Свердловской области, в 1951 году перевели в Казахстан министром внутренних дел.
В 1953 году, после ареста Л. П. Берия, П. М. Фитина уволили из органов безопасности по служебному несоответствию без пенсии, так как он не имел необходимой выслуги лет.
В последние годы жизни П. М. Фитин работал директором фотокомбината Союза советских обществ дружбы.
Умер 24 декабря 1971 года в Москве. Похоронен в Москве на Введенском кладбище.
В 2008 году в родном селе П. М. Фитина Ожогино (ныне Шатровского района Курганской области) в память о нём установлена мемориальная доска.
Специалисты считают, что при П. М. Фитине советская разведка достигла самых выдающихся результатов.