Родился в бедной семье, четвёртым из одиннадцати детей. В 1877 г. семья переехала в Нексё на острове Борнхольм (название города впоследствии стало псевдонимом писателя). Учился в народной школе, во время обучения учился на башмачника, затем работал журналистом. В середине 1890-х гг. Андерсен предпринял путешествие по Южной Европе для излечения от туберкулёза, впечатления от путешествия легли в основу его книги «Солнечные дни» (Soldage, 1903). В 1897 г. сдал экзамен на звание учителя и начал работать в Оденсе, в следующем году женился на Маргрет Томсен.
Первоначально в творчестве Андерсена преобладал пессимизм времён Fin de si?cle, который, однако, изменился после вступления автора в Социал-демократическую, а затем и Коммунистическую партию Дании. В 1906—1910 гг. опубликовал свою наиболее известную работу, четырёхтомник «Пелле-завоеватель» (Pelle Erobreren), которая была дважды экранизована (включая фильм Билле Аугуста. Самопожертвованию женщины посвящён роман «Дитте, дитя человеческое» (Ditte Menneskebarn, 1917—1921), книга «В железный век» (Midt i en J?rntid, 1929) высмеивает датских фермеров времён Первой мировой войны.
В ходе оккупации Дании нацистской Германией был в 1941 г. арестован, однако в 1943 г. бежал и через Швецию перебрался в СССР, где вёл антифашистские радиотрансляции на Данию и Норвегию. После окончания Второй мировой войны перебрался в ГДР. Почётный гражданин Дрездена.