Правнук Льва Толстого, внук второго сына писателя — Ильи Львовича Толстого, сын Ильи Ильича Толстого (1897—1970, морского офицера из последнего выпуска Императорского Морского Кадетского Корпуса; после возвращения из эмиграции — доцент МГУ, автор первого в СССР сербохорватско-русского словаря). Родился в эмиграции в Югославии, учился в эмигрантской школе, оставил интересные воспоминания о детстве и юности.
В 1941—1944 годах участник партизанского движения в Сербии, в 1944—1945 участник Великой Отечественной войны в составе Красной Армии.
В 1945 году вместе с родителями приехал в СССР, поступил на филологический факультет МГУ (специальность «болгарский язык и литература»). В 1954 году защитил кандидатскую диссертацию «Краткие и полные формы прилагательных в старославянском языке» (руководитель проф. С. Б. Бернштейн), а в 1972 г. докторскую диссертацию «Опыт семантического анализа славянской географической терминологии».
Преподавал в МГУ (с 1968), работал в Институте славяноведения и балканистики АН СССР.
Среди достижений Толстого — концепция славянской языковой ситуации и построение иерархической «пирамиды жанров», в соответствии с которой выбирался язык текстов (верхушка пирамиды — ближе к церковнославянскому, основание — к народному языку). Предложил термин «древнеславянский язык» как общий для старо- и церковнославянского литературного языка всех славян.
Был основоположником этнолингвистики в советской науке. Создал собственную этнолингвистическую научную школу, опиравшуюся на огромный полевой материал, собранный в экспедициях в Полесье. Выступил инициатором создания словаря «Славянские древности», возобновил журнал «Живая старина».
Член-корреспондент АН СССР (1984), академик АН СССР (1987), член президиума РАН (1992—1996). Иностранный член многих славянских академий.
Возглавлял Советский, а затем Российский комитет славистов, сыграл большую роль в налаживании международных связей советской славистики после 1956 г. Был председателем правления международного Фонда славянской письменности и славянских культур. Член ряда правительственных советов и комиссий.
В последние годы жизни был главным редактором журнала «Вопросы языкознания». Ранее, в 1969—1970 годах, как ответственный секретарь журнала, фактически исполнял обязанности редактора.
Скончался после тяжелой болезни в Москве 27 июня 1996 года. Похоронен на родовом кладбище Толстых в селе Кочаки, которое находится рядом с Ясной Поляной.
Жена Светлана Толстая — этнограф и филолог-славист, их дочь Марфа Толстая — лингвист, другая дочь Анна — телеведущая, известная как Фёкла Толстая.