Фатьма Мухтарова родилась в Урмии, на северо-западе Персии (ныне остан Западный Азербайджан в Иране), в семье перса, по другим сведениям — азербайджанца Аббаса Рзаева, уличного певца, и его жены, польско-литовской татарки Сары Хасеневич. Незадолго после рождения дочери семья переселилась в Россию, обосновавшись в Ростове-на-Дону. В 1901 году отец Мухтаровой подхватил чахотку и умер в возрасте 28 лет, а мать вторично вышла замуж за шарманщика Саттара Мухтарова, тоже иммигранта из Персии. Семья жила впроголодь и долго скиталась по городам России, пока, наконец, в 1910 году не осела в Саратове. Здесь мать Мухтаровой отдала её «в ученье» уличным певцам. Вскоре девочка, под именем Кати-шарманщицы, одетая в украинский костюм, успешно выступала под аккомпанемент бубна и гармошки на улицах, площадях и фабричных проходных Саратова. Одной из её первых слушательниц оказалась молодая Лидия Русланова, тогда работница фабрики, растроганная пением девочки и отдавшая ей все имеющиеся при себе деньги.
Вскоре заметка о таланте Кати Мухтаровой за авторством журналиста Архангельского появилась в «Саратовском вестнике». Её взял под свою опеку виолончелист Каменский, сын оперной певицы Марии Каменской. Однако в новом доме Мухтаровой была отведена роль прислуги, которую пускали за господский стол только при гостях из «общества». Обиженная таким отношением, Мухтарова ушла от Каменских и продолжила давать благотворительные концерты в городах и слободах Саратовской губернии, собирая деньги себе на музыкальное образование по совету Архангельского. В 1912 года она попыталась поступить в новообразованную Саратовскую Императорскую консерваторию, но получила отказ из-за «охрипшего от пения на морозе голоса с диапазоном меньше октавы». Однако на Мухтарову обратил внимание известный оперный певец Михаил Медведев, который взялся учить девушку и за две недели откорректировал ей голос. Таким образом, Фатьма Мухтарова оказалась в числе первых студентов Саратовской консерватории. В этот период она жила с родителями и содержала семью выступлениями в других городах страны, вопреки уставу консерватории. Во время одного из подобных гастролей в 1913 году Мухтарова оказалась в Баку, где привлекла интерес оперного певца Гусейнкули Сарабского. Узнав о тяжёлом финансовом положении Мухтаровой, Сарабский убедил бакинского нефтепромышленника и мецената Муртузу Мухтарова (однофамильца певицы) оказать молодой певице помощь, на что Мухтаров ответил согласием и выделил нужную сумму.
Первым профессиональным выступлением Мухтаровой была драма «Ставка князя Матвея» в Городском театре. Окончив консерваторию в 1914 году, Мухтарова вышла замуж за саратовского адвоката Александра Малинина (от которого вскоре родила дочь Лейлу) и уехала в Москву. Здесь через деверя Бориса она добилась прослушивания у Фёдора Шаляпина, а затем у Сергея Зимина и приняла предложение работать в Оперном театре Зимина. В этом театре она выступала партнёршей Шаляпина в опере «Борис Годунов», а также разучила партию Кармен, ставшую впоследствии её самой яркой и запомнившейся ролью. В 1918 году Мухтарова вернулась в Саратов с группой солистов и впервые выступила в роли Кармен 31 декабря 1918 года в Саратовском оперном театре.
После Революции, Фатьма Мухтарова выступала в различных театрах Украины, Поволжья, Южного Кавказа. Газеты отмечали необычайную естественность и эмоциональность Кармен в исполнении Мухтаровой. Во время бакинских гастролей 1924 года Георгий Нэлепп, игравший Хозе, по неосторожности всадил в спину Кармен-Мухтаровой нож почти на три сантиметра, что обнаружилось только на поклоне артистов, когда с юбки Мухтаровой стекала кровь. В 1936 году была награждена званием Заслуженной артистки Грузинской ССР.
С 1938 года была солисткой Азербайджанского театра оперы и балета.
С 1940 года Мухтарова — Народная артистка Азербайджанской ССР. В 1954 году оставила сцену, но продолжала преподавать молодым азербайджанским солистам театра. Последний её концерт состоялся в Грузинском театре оперы и балета.