Кост родился в семье капитана французской армии, бонапартиста по убеждениям, и получил своё имя в честь императора. В 1809 семья переехала в Орнан, а в 1815, после отставки отца — в Валансьен. Юный Кост начал обучаться игре на гитаре в возрасте шести лет под руководством матери, которая сама неплохо играла на этом инструменте. Быстро достигнув успеха, во второй половине 1820-х годов он начал давать концерты и заниматься педагогической деятельностью. В 1830 году Кост приезжает в Париж, где также завоёвывает большую популярность и знакомится со многими известными гитаристами того времени, в том числе с Фернандо Сором, у которого берёт уроки и выступает с ним в дуэте. Вскоре Коста признают лучшим гитаристом Франции, в печать выходят его сочинения, но с конца 1830-х годов интерес к гитаре в обществе заметно падает, и гитаристы, в том числе и Кост, вынуждены зарабатывать на жизнь другим путём. Несмотря ни на что, он продолжает сочинять, а в 1856 году получает вторую премию на конкурсе гитарной композиции в Брюсселе, организованном Николаем Макаровым за «Большую серенаду» (первую премию получил Иоганн Каспар Мертц). В 1863 году после падения с лестницы Кост сломал себе правую руку и вынужден был отказаться от исполнительской карьеры. Устроившись на гражданскую службу, он продолжил сочинять и преподавать. Умер в 1883 в Париже.
Кост — крупнейший французский гитарист XIX века. Большая часть его сочинений написана для гитары, однако ряд произведений предназначен для гобоя: композитор написал их специально для своего друга Шарля Луи Трибера, профессора Парижской консерватории, с которым часто и исполнял их в ансамбле. Кост был одним из первых, кто начал перекладывать для исполнения на гитаре сочинения XVII—XVIII веков, написанные для лютни (в частности, Сюиту Робера де Визе). Стиль собственных произведений композитора находится под влиянием Сора и основан на идеях романтизма (как гармонически, так и структурно). Кост играл как на обыкновенной шестиструнной гитаре, так и на новых экспериментальных моделях инструментов (например, с добавлением седьмой струны и др.)