Окончил Кёртисовский институт, где учился у Ефрема Цимбалиста и был концертмейстером студенческого оркестра под руководством Фрица Райнера. В 1934 г. поступил в Филадельфийский оркестр под руководством Леопольда Стоковского, однако уже в следующем году отказался от этой работы ради места второй скрипки в Кёртисовском квартете. Расставшись с квартетом в 1944 г., Джаффе некоторое время работал помощником дирижёра, аранжировщиком, играл в оркестре NBC. В 1954 г. основал и возглавил Симфонический оркестр Лонг-Айленда, в 1958 г. в качестве второго дирижёра участвовал в гастролях Нью-Йоркского городского балета по Японии, Австралии и Филиппинам. По возвращении с гастролей Джаффе перешёл на Бродвей и на протяжении более чем десятилетия лет был дирижёром знаменитых бродвейских мюзиклов «Вестсайдская история», «Моя прекрасная леди», «Джентльмены предпочитают блондинок», «Скрипач на крыше».