Родился в семье портного. В девять лет он был принят в Королевскую музыкальную школу в Парме. Занимаясь в классах виолончели, фортепиано и композиции, получил стипендию в одиннадцать лет, а в тринадцать начал выступать как профессиональный виолончелист. В 1885 году, в 18-летнем возрасте, с отличием окончил консерваторию в Парме по классу виолончели у Л. Карини; ещё в студенческие годы руководил небольшим оркестром, организованным им из соучеников. По окончании консерватории был принят в передвижную итальянскую оперную труппу в качестве концертмейстера виолончелей, помощника хормейстера и коррепетитора. В 1886 году труппа отправлялась на зимний сезон в Рио-де-Жанейро; во время этих гастролей, 25 июня 1886 года, из-за пререканий между постоянным дирижером труппы, менеджерами и публикой Тосканини пришлось встать за дирижерский пульт при исполнении «Аиды» Джузеппе Верди. Он продирижировал оперой наизусть. Так началась его дирижерская карьера, которой он отдал около 70 лет.
Первый итальянский ангажемент Тосканини получил в Турине. В течение последующих 12 лет он дирижировал в 20 итальянских городах и городках, постепенно завоевывая репутацию лучшего дирижера своего времени. Он провел премьеру Паяцев Руджеро Леонкавалло в Милане (1892); его пригласили дирижировать первым исполнением «Богемы» Джакомо Пуччини в Турине (1896). С 1896 года выступал также в симфонических концертах; в 1898 впервые в Италии исполнил 6-ю симфонию П. И. Чайковского.
В 1897 он женился на дочери миланского банкира Карле де Мартини; от этого брака родилось четверо детей, но один сын умер в младенчестве.
В течение 15 лет Тосканини был ведущим дирижером миланского театра «Ла Скала». С 1898 по 1903 он делил свое время между зимним сезоном в «Ла Скала» и зимним сезоном в театрах Буэнос-Айреса. Несогласие с художественной политикой «Ла Скала» заставило Тосканини в 1904 году покинуть этот театр, в 1906 он вернулся туда ещё на два года. В 1908 году очередная конфликтная ситуация побудила дирижера вновь покинуть Милан. Так он впервые оказался в США, где в течение семи лет (1908—1915) был дирижером «Метрополитен-опера». С приходом Тосканини, который привлек в театр таких певцов, как Энрико Карузо, Джеральдину Фаррар и других крупнейших музыкантов того времени, началась легендарная эра в истории оперного театра в США. Но и здесь Тосканини выразил несогласие с художественной политикой и в 1915 уехал в Италию, где после окончания войны снова стал главным дирижером «Ла Скала». Этот период (1921—1929) стал эпохой блестящего расцвета «Ла Скала». В 1929 году Тосканини надолго покинул Италию, не желая сотрудничать с фашистским режимом.
Ещё с 1927 года Тосканини одновременно работал в США: был главным дирижером Нью-Йоркского филармонического оркестра, с которым выступал в течение двух предыдущих сезонов как гастролер; после слияния оркестра в 1928 году с Нью-Йоркским симфоническим оркестром вплоть до 1936 года возглавлял объединённый Нью-Йоркский филармонический оркестр]]. В 1930 он отправился с оркестром в первое европейское турне. В Европе он дважды дирижировал на Байройтских вагнеровских фестивалях (1930—1931), на Зальцбургском фестивале (1934—1937); основал свой собственный фестиваль в Лондоне (1935—1939) и дирижировал также на фестивале в Люцерне (1938—1939). В 1936 году он способствовал организации Палестинского оркестра (ныне Израильский филармонический оркестр).
Завершающий и самый известный период жизни Тосканини, запечатлённый в многочисленных записях, начался в 1937, когда он провел первый из 17 сезонов радиоконцертов с Симфоническим оркестром Нью-Йоркского радио (NBC). С этим оркестром он совершил турне по Южной Америке в 1940, а в 1950 объехал США с ансамблем оркестровых музыкантов.
После сезона 1953—1954 Тосканини покинул оркестр Нью-Йоркского радио. Он умер во сне в своем доме в Ривердейле (шт. Нью-Йорк) 16 января 1957.
Зять А. Тосканини — пианист Владимир Самойлович Горовиц.
По результатам опроса, проведённого в ноябре 2010 года британским журналом о классической музыке BBC Music Magazine среди ста дирижёров из разных стран, среди которых такие музыканты, как Колин Дэвис (Великобритания), Валерий Гергиев (Россия), Густаво Дудамель (Венесуэла), Марис Янсонс (Латвия), Артуро Тосканини занял восьмое место в списке из двадцати наиболее выдающихся дирижёров всех времён.