Происходил из семьи, родственной царице Наталье Кирилловне. С 1677 года состоял при царевиче Петре Алексеевиче сначала стольником, а впоследствии верховным постельничим. При царевне Софии выказал особую приверженность Петру и с тех пор пользовался постоянным его доверием.
Сопровождал царя в первом путешествии его в чужие края и вместе с ним работал на верфях в Саардаме. В 1709 года на Полтавском поле царь поздравил Головкина, который уже с 1706 года стоял во главе Посольского приказа, с присвоением нового для России титула канцлера. В этом звании, которое он сохранил до самой смерти, Головкин руководил дипломатией Российского государства и сопутствовал царю в его путешествиях и походах (между прочими, и в Прутском).
При Екатерине I Головкин был членом Верховного тайного совета. Императрица передала ему на сохранение свое духовное завещание, которым назначила преемником престола Петра II, а его — одним из опекунов малолетнего императора. По кончине Петра II Головкин (1730 год) предал огню этот государственный акт, которым на случай бездетной кончины юного императора престол обеспечивался за дальнейшими потомками Петра I, и высказался в пользу Анны Иоанновны. Личный враг кн. Долгоруких, Головкин был одним из главных виновников неудачи замыслов верховников.
При Анне Иоанновне был членом кабинета. Граф Римской империи с 1707 года, Головкин в 1710 году получил графское достоинство российское. Искусный царедворец, сумевший сохранить свое значение при четырёх царствованиях, Головкин владел целым Каменным островом в Петербурге, многими домами и поместьями (одно из них Головчино), но был чрезвычайно скуп.