Его отец, Иосиф Григорьевич, и мать, София Аркадьевна, были из традиционных еврейских семей, но сами уже ассимилировались. Отец его был из Бердичева, на Украинe, а мать — из Гомеля, в Белоруссии — небольших городков с преимущественно еврейским населением. После Октябрьской революции их семьи впали в нищету. Родители его переехали в Москву, где Илья родился в 1929 году.
Илья начал интересоваться математикой в возрасте 10 лет. В своих воспоминаниях он описывает, как был поражен «очарованием и необычайной красотой отрицательных чисел», которые ему показал его отец.
В 1952 году Пятецкий-Шапиро, будучи ещё студентом Московского Университета, получил премию Московского Математического Общества за решение проблемы французского математика Рафаэля Салема о единственности разложения функций в тригонометрический ряд (on sets of uniqueness of trigonometric series).
Несмотря на эту премию и рекомендацию от его руководителя А. О. Гельфонда, профессора математики в МГУ и видного члена коммунистической партии (отец Гельфонда был другом Ленина), заявление Пятецкого-Шапиро в аспирантуру в Московском университете было отклонено.
В конечном итоге Илья поступил в аспирантуру Московского педагогического института, где получил степень кандидата наук в 1954 году под руководством А. Бухштаба. Его ранние работы концентрировались на классической аналитической теории чисел, включая работу «Теорема Пятецкого-Шапиро о распределении простых чисел» (1953), а также работы о множествах, возникающих в задаче о единственности разложения функций в тригонометрический ряд (1952).
Покинув Московский педагогический институт, он провел год в МИАНе им. Стеклова, где он получил степень доктора наук в 1959 году, под руководством Игоря Шафаревичa. Общение с Шафаревичем, который был профессором в МИАНе, расширили его математической интересы и обратили его внимание на современную теорию чисел и алгебраическую геометрию. Спустя некоторое время, два учёных написали совместную статью об алгебраических поверхностях.
В 1958 году он стал работать в Московском институте прикладной математики.
Но, несмотря на его славу, Илье не было разрешено выезжать за рубеж для участия в совещаниях или даже посетить коллег за исключением одной короткой поездки в Венгрию. Советские власти настаивали на одном условии: он должен был стать членом партии, и тогда он мог бы путешествовать сколько хотел. Илья дал свой знаменитый ответ: «Членство в коммунистической партии будет отвлекать меня от моей работы».
В начале 1970-х годов все большему числу советских евреев было разрешено эмигрировать в Израиль.
В 1968 году Пятецкий-Шапиро был отстранён от преподавания на мехмате МГУ после того как он подписал письмо советским властям с требованием освободить из психиатрического госпиталя диссидента и математика Александра Есенина-Вольпина.
После того как его бывшая жена и сын покинули Советский Союз в 1974 году, Илья также подал на выездную визу в Израиль и получил отказ (его бывшая жена и сын тоже получили отказ, хотя они уже были в Израиле). После подачи заявления на эмиграцию Илья потерял свою научную позицию в Московском Институте прикладной математики (ИПМ). Власти отказались предоставить Илье выездную визу, утверждая, что он является слишком ценным ученым, чтобы разрешить ему уехать.
Как отказник, он потерял доступ к математическим библиотекам и другим учебным ресурсам. Тем не менее, он продолжал свои исследования, а коллеги брали для него книги из библиотеки.
Его тяжелое положение как математика, с серьёзными ограничениями на его исследования и без средств существования, привлекло большое внимание в США и Европе.
Начиная с 1977 годa, Илья делил свое время между Тель-Авивским университетом и Йельским, руководя докторскими диссертациями в обоих местах. Одна из его основных работ в Йеле касается «Обратной теоремы», которая устанавливает ключевую связь между автоморфными формами на NxN матричных группах и дзета-функциями.
Для N = 1 эта теорема классическая. Для N = 2 была доказана Андре Вейлем. А версии для N = 3 были задуманы Пятецким-Шапиро, когда он ещё был отказником в Советском Союзе. Потребовалось ещё 25 лет работы и тесного сотрудничества с другими учёными, в частности его студентом Джеймсом Когделлом, до того как эта трудная проблема была решена в общем случае.
Обратная теорема сыграла решающую роль в получении многих ярких результатов известного «принципа функториальности» Ленглендса, считающегося одной из главных задач современной теории чисел.
Илья страдал болезнью Паркинсона в течение последних 30 лет его жизни. Его состояние ухудшилось в последниe 10 лет вплоть до того, что он был едва в состоянии двигаться и говорить, но благодаря поддержке его жены Эдит, Илья был по-прежнему в состоянии совершать поездки на многие математические конференции и поддерживать математические контакты. С помощью Джеймса Когделла он мог продолжать работать на самом высоком уровне научных исследований до последнего года.
Илья был любителем шахмат и часто играл в шахматы со своими детьми. В последние 10 лет, когда ему стало трудно двигаться и даже говорить, он все ещё играл в шахматы и шашки как способ общения с детьми, и нередко выигрывал.