После окончания учёбы Коэн работал юристом в Бангоре, преподавал бизнес-администрацию в университете Мэна (1968—1972). Был избран в городской совет, а в 1971 году стал мэром Бангора.
На выборах 1972 года Коэн был избран в Конгресс США. Работая в Конгрессе, участвовал в расследовании Уотергейтского скандала, голосовал за импичмент Ричарда Никсона. Был переизбран в Конгресс. В 1978 году избран в Сенат США, переизбран в 1984 и 1990 годах. Работая в Сенате, являлся членом комитета по военным делам, комитета по разведке и комитета по правительственным делам.
В январе 1997 года назначен на пост министра обороны США переизбранным на второй срок президентом Клинтоном. Во время работы Коэна начался процесс расширения НАТО с включением в него Польши, Венгрии и Чехии, был создан совет Россия-НАТО.
В 2001 году вышел в отставку.