Иосиф Рапопорт родился в семье врача-терапевта в городе Чернигове. После окончания школы в 1930 году был принят на биофак Ленинградского государственного университета, где после защиты дипломной работы прошел курс по специальности «генетика».
Далее следовала аспирантура в генетической лаборатории Института экспериментальной биологии АН СССР, которым руководил видный биолог Николай Константинович Кольцов. Аспирантура была завершена в 1938 году, а диссертация на ученое звание кандидата биологических наук была защищена в Институте генетики АН СССР.
В годы Великой Отечественной войны Иосиф Рапопорт с первых дней войны пошёл добровольцем на фронт. Прошел путь от командира взвода до начальника штаба 184-го гвардейского полка 62-й гвардейской стрелковой дивизии, дважды был тяжело ранен, потерял левый глаз. Во время войны защитил докторскую диссертацию, находясь на лечении после одного из ранений.
За мужество и изобретательность, проявленные на полях сражений (в частности, примечателен случай успешного отражения атаки немецких танков в Венгрии стрелковым батальоном Рапопорта с помощью фаустпатронов, захваченных у самих же немцев) Иосиф Рапопорт был удостоен награждения двумя орденами Красного Знамени, орденом Суворова III степени.
За боевую операцию по соединению с американскими союзниками был в третий раз представлен к Герою Советского Союза, вместо этого был награждён орденом Отечественной войны, также получил американский орден «Легион Почёта».
Во время войны трижды был представлен к званию Героя Советского Союза, но не получил его.
После войны Иосиф Рапопорт продолжил научные исследования в области генетики в Институте цитологии, гистологии и эмбриологии АН СССР. Главным научным достижением Раппопорта стало открытие химических веществ, которые обладали сильными мутагенными свойствами (мутагенов и супермутагенов), и проведение соответствующих опытов на мухах-дрозофилах подтвердило первоначальные догадки и прозрения ученого, которые впоследствии вылились в появление самостоятельного раздела генетики, известного как химический мутагенез.
Однако генетика, против которой в СССР в 1948 году была начата глубоко антинаучная кампания по дискредитации, по инициативе Т. Лысенко и при поддержке И. Сталина была зачислена в разряд «идеологически чуждых явлений». На печально известной «августовской сессии ВАСХНИЛ» 1948 года Иосиф Рапопорт, будучи приверженцем генетики, противостоял «лысенковщине». В 1949 году за несогласие с решениями этой сессии Раппопорт был исключен из ВКП (б).
Разгром генетики и последующие карательные меры против ее приверженцев, заключавшиеся, прежде всего, в развале научных школ и принудительной переквалификации ученых не обошли стороной и Иосифа Рапопорта: с 1949 по 1957 гг. он работал в качестве сотрудника экспедиций нефтяного и геологического министерств, занимаясь палеонтологией и стратиграфией.
В 1957 году Рапопорт возвращается к научным исследованиям в области генетики: в Институте химической физики АН СССР вместе с группой ученых он ведет поиск химических мутагенов, анализ их свойств в сравнении с радиационными мутагенами, а также эксперименты в области феногенетики.
В начале 60-х годов Нобелевский комитет сообщил советским властям о выдвижении кандидатуры Рапопорта (совместно с Шарлоттой Ауэрбах) на Нобелевскую премию за открытие химического мутагенеза. Раппопорт был вызван в отдел науки ЦК КПСС и ему было предложено подать заявление о восстановлении в партии для того, чтобы власти не возражали против присуждения ему премии. Однако Рапопорт отказался подать такое заявление.
В 1965 году по предложению академика Н. Н. Семенова в том же Институте химической физики начинается создание отдела химгенетики в составе четырех лабораторий. Это позволило развернуть исследования по ряду направлений теоретической и экспериментальной генетики, но главной темой осталось изучение наследственной и ненаследственной изменчивости. С начала 60-х годов развернулось внедрение полученных результатов в сельскохозяйственную селекцию, в промышленную микробиологию и потом еще в нескольких направлениях.
В начале 70-х годов Иосиф Рапопорт был награжден орденом Трудового Красного Знамени; в 1979 г. — избран членом-корреспондентом АН СССР по Отделению биологии. В 1984 году ему была присуждена Ленинская премия.
Указом Президента СССР от 16 октября 1990 года Иосифу Рапопорту было присвоено звание Героя Социалистического Труда с формулировкой «за особый вклад в сохранение и развитие генетики и селекции, подготовку высококвалифицированных научных кадров».
25 декабря 1990 года был сбит грузовиком при переходе дороги и 31 декабря скончался в больнице. Похоронен на Троекуровском кладбище в Москве.
Иосифу Рапопорту посвящены несколько документальных фильмов: