Православный. Имел 4700 десятин родового поместья в Новгородской губернии, три дома в Петербурге, дачу под Сочи.
Родился в дворянской семье, отец — Логгин Иванович Горемыкин (1809—1864). Окончил Императорское училище правоведения (21 выпуска, 16 мая 1860).
В 1860 году начал службу в Сенате, затем был назначен комиссаром по крестьянским делам в Царстве Польском, где в 1866 стал Плоцким вице-губернатором, а в 1869 году — Келецким вице-губернатором. С 1873 года — в Министерстве внутренних дел. В 1873—1882 годах — член Комиссии по крестьянским делам губерний Царства Польского при МВД.
С 1882 — товарищ (заместитель) прокурора 1-го Департамента Сената. С 1884 года — обер-прокурор 2-го Департамента Сената. Прослужив в течение долгих лет в Сенате, правда не по судебному, а по 2-му, так называемому крестьянскому, департаменту, Горемыкин невольно впитал в себя приверженность к законности и отрицательное отношение к административному произволу. По природе, несомненно, умный, тонкий и вдумчивый, с заметной склонностью к философскому умозрению, он считался при назначении министром внутренних дел не только в либеральном лагере, так как по личным связям принадлежал к либеральному сенаторскому кружку, но даже сторонником, конечно платоническим, толстовского учения.
В правительственных кругах Горемыкин считался знатоком крестьянского вопроса. Именно ему было поручено издать в 1891 «Свод узаконений и распоряжений правительства об устройстве сельского состояния». В том же 1891 году он был назначен товарищем Министра юстиции. Сенатор (1894).
1895 — товарищ Министра и министр внутренних дел. Благодаря долгой службе Горемыкин пользовался репутацией «законника», и назначение его в 1895 министром внутренних дел пробудило в демократической части общества надежду на уменьшение административного произвола. На посту министра Горемыкин остановил введение в действие получившего силу закона нового лечебного устава, по которому от земства фактически отнималось заведование содержимыми на земские средства больницами и приемными покоями и другие разрабатывавшиеся в Министерстве внутренних дел предположения о сокращении компетенции земства.
По поводу проекта введения земств в западных и восточных губерниях Горемыкин не без пафоса писал:
1896 — действительный тайный советник.
В 1899 Горемыкин оставил министерство и был назначен членом Государственного совета. Назначался к присутствию на 1906—1917 гг. В государственном совете относился к группе правых.
1905 — Председатель Особого совещания о мерах по укреплению крестьянского землевладения.
Перед созывом Первой Государственной думы 22 апреля 1906 Горемыкин был назначен Председателем совета министров, заменив С. Ю. Витте. До роспуска Думы 8 июля 1906 Горемыкин был занят борьбой с нею, выступая против законопроекта об ответственности министров перед Думой и отвергая радикальные аграрные реформы, предлагаемые думцами.
После роспуска первого созыва Думы Горемыкин был 8 июля 1906 года заменён П. А. Столыпиным.
1910 — Статс-секретарь.
В 1914 году вновь занял пост Председателя Совета министров, который занимал до 20 января 1916 года.
1915 — кавалер ордена Андрея Первозванного.
1916 — Действительный тайный советник 1-го класса.
После Февральской революции 1917 был арестован. Допрашивался в Чрезвычайной комиссии Временного правительства, в мае 1917 из-за возраста был выпущен на свободу. В административном порядке выслан из Петрограда. Был убит во время разбойного нападения на его дачу в Сочи вместе с женой, дочерью и зятем.
1895—1899 — дом — набережная реки Фонтанки, 16. 1907—1913 —
Среди одиннадцати преемников Горемыкина на посту министра внутренних дел Российской империи только двое (Святополк-Мирский и Петр Дурново) умерли естественной смертью: Сипягин, Плеве и Столыпин стали жертвами покушений, остальные погибли в годы красного террора.
По некоторым данным, на Горемыкина было написано следующее четверостишие:
Горемыкин, Иван Логгинович, 1906 г. Фотография Карла Буллы.
Горемыкин, Иван Логгинович на этюде к картине Ильи Репина "Торжественное заседание Государственного Совета 7 мая 1901 года в честь столетнего юбилея со дня его учреждения".
И. Л. Горемыкин, 1915