Имеются противоречивые сведения о дне и месте рождения Фёдора Васильевича. По одним данным, он родился 2 (14)июня 1871 года в станице Егорлыкская, ныне Ростовской области. По другим данным, Фёдор Васильевич Токарев родился в станице Мечетинской, Донской области, 22 июня 1871 г.
Окончил казачье юнкерское училище в 1900 году. С 1891 года работал оружейным мастером в казачьем полку в Радивилове на Волыни, а с 1900-го — заведующим оружием. Затем поступил на курсы при офицерской стрелковой школе в Ораниенбауме, где и начал свою конструкторскую карьеру.
Токарев начал свою конструкторскую деятельность в 1908 году. В 1908—1914 годах он работал на Сестрорецком оружейном заводе, где продолжал совершенствовать эту модель винтовки, работая, кроме того, над новыми образцами автоматической винтовки собственной конструкции. Автоматическая винтовка Токарева наравне с другими конструкторами была признана и прошла «комиссионные» и полевые испытания. Но в 1912 году он представил совершенно новый образец винтовки, значительно улучшенный, над которым работал до 1914 года, когда был мобилизован в действующую армию.
В действующей армии Токарев находился около полутора лет, командовал сотней в 29-м Донском казачьем полку и получил 5 боевых наград за отличие в делах против неприятеля. В 1915 году Токарева вновь зачислили в штат Сестрорецкого завода, как «отличного техника и конструктора оружия».
Талант Токарева расцвёл в начале 1920-х годов. С 1921 он связал свою судьбу с Тульским оружейным заводом. В 1924 году на вооружение Красной Армии был принят ручной пулемёт Максима, модернизированный по системе Токарева (МТ — Максим — Токарев). В 1926-м Токарев разработал новый вариант пулемёта Максима для применения в авиации, заменивший пулемёт Виккерс. В 1927 году разработал первый отечественный пистолет-пулемёт под револьверный патрон (Пистолет-пулемет Токарева образца 1927 г.).
Фёдор Васильевич Токарев нередко выходил победителем открытых конкурсов на лучшие образцы оружия. Так, в конце 1920-х годов ряд конструкторов стрелкового оружия (С. А. Коровин, С. А. Прилуцкий и другие) работал над пистолетами. Участвовал в этой работе и Токарев. С 25 июня по 13 июля 1930 года комиссия под председательством В. Ф. Грушецкого проводила полигонные испытания 7,62-мм пистолетов Коровина, Прилуцкого и Токарева параллельно с испытанием лучших иностранных образцов систем Люгера, Браунинга, Маузера и пр.
Особое внимание Токарева привлек пистолет Colt 1911, системы Джона Мозеса Браунинга. Токарев отметил чрезвычайно удачную систему запирания затвора этого пистолета, и несколько упростив, применил в ТТ не только эту систему, но и всю компоновочную схему. Это был очень удачный выбор, схема Браунинга по сей день считается самой удачной и используется в самых современных пистолетах. Применив схему Браунинга для патрона 7,62*25 Токареву удалось создать необычно мощный и компактный пистолет. Испытания выявили превосходство пистолета Токарева над многими другими по массе, габаритам и мощности в различных условиях эксплуатации.
В 1930 году на вооружение армии поступил разработанный Токаревым самозарядный пистолет ТТ. Им были также разработаны самозарядная винтовка образца 1938 года (СВТ-38), самозарядная винтовка СВТ-40, которые применялись в Великой Отечественной войне.
Похоронен в Туле на Всехсвятском кладбище.
В 1948 году Токарев сконструировал оригинальный фотоаппарат для панорамной съемки ФТ-1, выпущенный в небольшом количестве в 1948—1949 годах на Красногорском механическом заводе. После существенной переработки заводскими конструкторами фотоаппарат Токарева под названием ФТ-2 выпускался с 1958 по 1965 годы.
Четвертый орден Ленина он получил к 95-летнему юбилею, что делает его самым старым кавалером высшего ордена СССР.