Брат генерал-фельдмаршала графа Дмитрия и статистика Владимира Милютиных.
Происходил из небогатой дворянской семьи. Сын Алексея Михайловича Милютина (1780—1846) и Елизаветы Дмитриевны Киселевой (1794—1838). Образование получил в Благородном пансионе при Московском университете. В молодые и юношеские годы находился под сильным влиянием своих родителей и дяди, графа П. Д. Киселёва.
В 1835 году начал гражданскую службу в чине губернского секретаря в Хозяйственном департаменте Министерства внутренних дел. В январе — марте 1840 г. находился в служебной командировке в Новгородской, Тверской и Московской губерниях. В апреле — мае посетил Рыбинск и Ярославль. По итогам командировки составил записку о голоде, которой обратил на себя внимание начальства; по поручению министра графа А. Г. Строганова разрабатывал вопрос о железнодорожном строительстве. В 1842 г. возглавил городское отделение хозяйственного департамента МВД, разработал новое городовое положение, введенное в Петербурге, Москве и Одессе. В том же году получил чин коллежского ассесора. Принимал активное участие в работе Отделения статистики и Совета Русского географического общества (1852—1854).
Был назначен директором хозяйственного департамента. На этом посту проводил масштабную работу по статистическому обследованию России, результаты которой были опубликованы в ряде выходивших под его редакцией трудов 1838—1864 гг. (см. ниже). Инициировал исследование ярмарочной торговли на юге (выполнялось И. С. Аксаковым), статистики, политических учреждений и финансов Царства Польского. Департаментом активно собирались данные, необходимые для разработки крестьянской реформы. Член Особого комитета для обсуждения ходатайств, поступивших из многих губерний об оказании разных льгот и облигаций по случаю восточной войны и неурожаев (1856).
…чуть колыхнулось болото стоящее
Ты ни минуты не спал.
Лишь не остыло б железо горячее,
Ты без оглядки ковал.
В чём погрешу и чего не доделаю,
Думал - исправят потом.
Грубо ковал ты, но руку умелую
Видно доныне во всём.
В 1856 г. Милютин подал записку «Предварительные мысли об устройстве отношений между помещиками и крестьянами», в которой предполагал, ссылаясь на реформу, проведённую в Пруссии, освободить крестьян с земельными наделами за выкуп.
Во второй половине 1850-х гг. входит в кружок Великой княгини Елены Павловны, сближается с Вел. кн. Константином Николаевичем и министром внутренних дел С. С. Ланским, после ручательства которого «как за самого себя» был назначен товарищем министра (1859) и стал руководителем работ по подготовке крестьянской реформы. Занимая либеральные и славянофильские позиции, при поддержке Вел. кн. Константина Николаевича, С. С. Ланского и императора Александра II выступал против позиции большей части губернских комитетов по крестьянскому делу. После обнародования Манифеста об освобождении крестьян от крепостной зависимости вместе с графом С. С. Ланским подал в отставку. Назначен сенатором.
31 августа 1863 года на аудиенции у Государя выступил с планом умиротворения Царства Польского. Как статс-секретарь Его Императорского Величества для особых поручений, вместе с Ю. Ф. Самариным и князем В. А. Черкасским руководил «умиротворением» Польши; совместно разработал ряд предложений, одобренных императором, в том числе Положение от 19 февраля 1864 г., наделявшее землёй польских крестьян. Введено в действие Высочайшими указами от 19 февраля 1864 г. об устройстве быта польских крестьян; об устройстве сельских гмин, о ликвидационной комиссии, о порядке введения в действие новых постановлений.
Главными чертами реформы Милютина-Самарина-Черкасского были переход в собственность крестьян всей земли, которой они владеют, установление одного лишь поземельного налога, разрешение выкупа сервитутов лишь с согласия крестьян, дозволение перехода крестьянской земли лишь к крестьянам.
Будучи назначенным статс-секретарём по делам Польши, совместно с главным директором правительственной комиссии внутренних дел кн. В. А. Черкасским и Я. А. Соловьёвым проводит реформу, инициирует пересмотр учебного устава 1862 г. и циркуляров Велёпольского, организует издание пособий для русских униатских училищ, подготавливает судебную реформу. Проводит резкую антипапскую политику: секуляризацию католических монастырей с сокращением числа монахов, отмену патроната крупных собственников над костёлами, стремится ограничить власть епископов над ксендзами. В 1866 г. добивается решения об упразднении конкордата с папским престолом.
В декабре 1866 г. после заседания у государственного канцлера тяжело заболевает, вынужденно отходит от государственной деятельности. В 1867 вышел в отставку по болезни.
На протяжении трёх лет жил за границей, два года в Москве. Скончался, окружённый попечением близких и общественным уважением. Похоронен на кладбище Новодевичьего монастыря.
И. С. Тургенев произнёс над его могилой проникновенную речь о заслугах перед Россией.
По отзывам современников, обладал взрывным характером и был трудным в общении человеком, за что получил прозвище «красный». Исходя из характера своей деятельности, а также круга своих друзей и соратников — по убеждениям примыкал к славянофилам.
Жена — Мария Аггеевна Абаза (1834—1903), дети: Юрий (1856—1912) и Прасковья (Полина) (1857—1929), Мария (1858-не ранее 1897), Елена (1864—1941).
26 января 1872 г. Милютин скончался. Его похронили в Москве на кладбище Новодевичьевого монастыря. 7 февраля 1872 г. его вдове была назначена пенсия 5000 рублей в год, а дочерям положено содержание 2000 рублей в год до замужества.