В детстве пел в церковном хоре, но на первых порах не собирался связывать жизнь с карьерой певца и по окончании Коммерческого училища некоторое время занимался предпринимательством. C 1861 начал брать уроки пения у Г. Я. Ломакина, пел в хоре Бесплатной музыкальной школы. Затем совершенствовался у Пьетро Репетто. Дебютировал в 1867 в Мариинском театре партией Рикардо в опере В. Беллини «Пуритане», и вскоре заслужил славу артиста высочайшего класса. До 1890 Мельников был солистом Мариинского театра, выступая в русских и зарубежных операх, после чего ушёл со сцены и два года работал в том же театре как режиссёр, затем руководил любительским хором и издавал сборники хоровых сочинений.
Один из выдающихся представителей русской вокальной школы, Мельников обладал голосом гибким, красивым по тембру, способным выражать как тонкий лиризм, так и драматическую силу. Он участвовал в премьерах почти всех русских опер последней трети XIX века. Среди лучших ролей Мельникова ? Руслан («Руслан и Людмила» Глинки), Мельник («Русалка» Даргомыжского), Борис Годунов (одноимённая опера Мусоргского; первый исполнитель в 1874), Князь Игорь (одноимённая опера Бородина; первый исполнитель в 1890), Амонасро («Аида» Верди), Вольфрам («Тангейзер» Вагнера) и другие.