18 июля 1995 года на 15-м этапе очередной веломногодневки «Тур де Франс», на спуске с горы Порте-д'Аспе во французских Пиренеях при очень высокой скорости (около 90 км/ч), Фабио и ещё несколько гонщиков, в результате неправильно выбранной траектории для входа в почти 90-градусный левый поворот, упали с велосипедов, получив тяжёлые травмы. Один из гонщиков даже сорвался в обрыв, но остался жив. При этом доставать его пришлось с помощью специального каната. В те времена велогонщикам разрешалось не использовать велошлем (вопрос о том, спас бы шлем жизнь гонщика или нет, остаётся открытым). Фабио Казартелли в результате падения получил несовместимые с жизнью травмы лица и головы и в результате кровоизлияния в мозг скончался в больнице города Тарб, куда был доставлен вертолётом. Этот случай стал единственным за всю историю «Тур де Франс», когда велосипедист скончался от полученных травм в результате падения с велосипеда.
Сообщество «Тур де Франс» и команда «Моторола» установили мемориальный камень в память о Фабио Казартелли, неподалёку от места его падения. С тех пор перед входом в этот поворот, гонщики намеренно сбавляют скорость, одновременно сочетая безопасность его прохождения с почтением памяти олимпийского чемпиона Фабио Казартелли.