Карагунис был капитаном молодёжной сборной Греции на молодёжном Чемпионате Европы-1998, на котором Греция заняла второе место.
С 1999 года регулярно играет за первую сборную страны. Один из героев национальной сборной на победном Чемпионате Европы 2004 года. Автор первого гола турнира.