С детских лет жил в Берлине, учился в Берлинской Высшей школе музыки у Вилли Хесса, а также частным образом у Арриго Серато; по мнению специалистов, сфокусированность на стилистической и исторической точности, а не на эмоциональном соответствии, выдавали принадлежность Спиваковского скорее к германской, чем к русской скрипичной школе.
В десятилетнем возрасте начал концертную карьеру, в 13 лет совершил первое европейское турне. В 1926 году по приглашению Вильгельма Фуртвенглера стал концертмейстером Берлинского филармонического оркестра, однако уже через год отказался от этой работы, предпочтя сольную карьеру. На протяжении 1920-х гг. широко концертировал в составе Дуэта Спиваковских вместе с братом, пианистом Яшей Спиваковским (ряд коротких пьес Фрица Крейслера, Никколо Паганини, Иоганнеса Брамса и других авторов, записанные дуэтом в 1924—1931 гг., перевыпущены на CD), а затем в составе фортепианного трио (с виолончелистом Эдмундом Курцем). Приход в Германии к власти нацистов застал трио в Австралии, и музыканты приняли решение не возвращаться в Европу; все трое в 1934 году приступили к преподавательской работе в Мельбурнской консерватории (в том же году к Спиваковским присоединились ещё два брата, Адольф и Исаак).
В 1940 г. Тосси Спиваковский, единственный из братьев, покинул Австралию и обосновался в США. На протяжении ряда лет он был первой скрипкой Кливлендского оркестра под управлением Артура Родзинского, вместе с которым, в частности, исполнил американскую премьеру Второго концерта Белы Бартока, получившую высокую оценку автора. Спиваковский также осуществил первую студийную запись второй скрипичной сонаты Бартока (с Артуром Бальзамом; исполнение Йожефа Сигети с аккомпанементом автора было записано с концерта и выпущено позднее). Среди других значительных записей Спиваковского — концерт Чайковского с Лондонским симфоническим оркестром под управлением Вальтера Гёра и концерт Джанкарло Менотти с Бостонским симфоническим оркестром под управлением Шарля Мюнша. Кроме того, он был первым исполнителем Концертной сонаты Леона Кирхнера и пьесы Дэвида Дайамонда «Песнь и вечное движение» (англ. Canticle and Perpetual Motion). В 1974—1989 гг. преподавал в Джульярдской школе.
Спиваковский отличался оригинальной манерой держать скрипку и смычок, вызывавшей весьма индивидуальное вибрато. Для баховских партит и сонат для скрипки соло Спиваковский разработал особую смычковую технику, которой посвящена книга скрипача и музыковеда Гейлорда Йоста.