Сын органиста.
В возрасте семи лет сочинил первую пьесу для органа. В 1861—1862 гг. учился в Лейпцигской консерватории, с 1864 г. жил и работал в Гамбурге. С 1872 г. руководил гамбургским Баховским обществом, в 1882 г. основал и возглавил мужской хор «Адольфина», существующий по сей день. С 1893 г. органист гамбургской церкви Святого Иакова.
Был первым учителем Рихарда Бурмайстера.
Из сочинений Меркенса наиболее известны Торжественная месса Op. 21 и песня «Wie ein Gr?ssen» Op. 18 (записанная, например, Эрнестиной Шуман-Хайнк).