Родился в крестьянской семье. С 1925 г. — слесарь, начальник ОТК цеха. В 1939 г. окончил Ленинградский заочный индустриальный институт. С 1939 г. на инженерно-технических должностях, директор заводов в Орле и Кузнецке, в 1944—1950 гг. — директор ленинградского завода «Госметр». В 1950—1952 гг. — секретарь Московского райкома ВКП(б) г. Ленинграда.
В 1952 г. И. В. Спиридонов стал заместителем председателя Леноблисполкома, а в 1954 г. занял пост секретаря Ленинградского обкома КПСС. Вскоре после XX съезда, видимо, с санкции высшего партийного руководства, Спиридонов, как депутат Верховного Совета СССР, выступил с политически значимым предложением о выносе тела Сталина из Мавзолея на Красной площади. Инициативу одобрили, а Иван Васильевич пошёл на повышение, возглавив Ленинградский горком КПСС (июль 1956 г.).
Первый секретарь Ленинградского окома КПСС с 24 декабря 1957 года по 3 мая 1962 года. Заняв после отъезда Ф. Р. Козлова кресло первого секретаря обкома, большую часть своих усилий Спиридонов направил на жилищное строительство. При нём были разработаны новые типовые проекты не слишком комфортных, но дешёвых домов («хрущёвки»), появились крупные строительные тресты, перешедшие к методу комплексной застройки целых жилых кварталов. В этот же период открылось сквозное движение по автостраде Москва — Ленинград. Стремительными темпами развивалась научно-техническая база Ленинграда. Началось строительство научных городков в районах Песочный, Красное Село, Гатчина, Кировск и др. Развитие фундаментальных научных исследований способствовало расцвету оборонной отрасли, предприятия которой стали определять всю структуру местной промышленности и оказывать непосредственное влияние на темпы экономического развития региона. Являлся членом Бюро ЦК КПСС по РСФСР (1959—1961). Депутат Верховного Совета СССР 5—8-го созывов.
Секретарь ЦК КПСС с 31 октября 1961 года по 23 апреля 1962 года. Многие из тех, кто работал с Иваном Васильевичем, характеризовали его как человека вялого и безынициативного. В то же время большинство отзывалось о нём, как об умном и спокойном руководителе, поддерживавшем все разумные инициативы своих подчинённых. В сущности, обе эти оценки не противоречат друг другу. Можно предположить, что Спиридонов действительно не горел на работе. Во всяком случае, если верить слухам, с поста первого секретаря его сняли после того, как он несколько раз засыпал на заседаниях бюро обкома.
Н. С. Хрущёв, не имевший ничего личного против Спиридонова, решил подыскать ему «хорошую работу», и тот был «избран» Председателем Совета Союза Верховного Совета СССР. Пост этот был столь же почётным, сколь и далёким от реальных рычагов власти: Верховный Совет, равно как и советы на низовых уровнях, играл в стране исключительно декоративную роль.
С 23 апреля 1962 года по 14 июня 1970 года — Председатель Совета Союза Верховного Совета СССР. С июля 1970 года — персональный пенсионер союзного значения. Скончался 7 июля 1991 года в г. Москве. Похоронен на Троекуровском кладбище.