Воспитывался в петербургской гимназии, после окончания которой поступил в медико-хирургическую Академию, которую оставил ради обучения в Петербургской консерватории. Учился у Николая Зарембы.
Первым значительным оркестровым сочинением стала Увертюра для оркестра (1869), исполненная на торжественном вечере в консерватории. В 1870 году выступил с драматической кантатой «Смерть Самсона». Среди других оркестровых и вокально-симфонических сочинений композитора — симфоническая картина «Русь и Монголы» (1870), «Петровская кантата» в честь 200-летнего юбилея Петра I, симфоническая фантазия «Эй, ухнем» для всероссийской выставки в Москве (1882).
Сблизившись с Александром Серовым, Соловьёв унаследовал от последнего неприязненное отношение к деятельности «Могучей кучки». После смерти Серова завершил (совместно с женой композитора — В. С. Серовой-Бергман) его оперу «Вражья сила» (Соловьёву принадлежит часть музыки пятого действия и оркестровка отдельных фрагментов первого), которая была поставлена в 1871 году в Петербурге.
В 1873—1874 годах участвовал в конкурсе на лучшую оперу на либретто Якова Полонского «Кузнец Вакула» (по повести Гоголя «Ночь перед Рождеством»). Либретто было некогда написано для покойного Серова, который не успел сочинить музыку на этот текст. Жюри (в которое входили Э. Направник и Н. Римский-Корсаков) присудило опере Соловьёва второе место (первое заняла опера П. И. Чайковского). Опера Соловьёва была поставлена в 1880 году в Санкт-Петербурге. Вторая опера композитора — «Корделия» — поставлена под названием «Месть» в 1885 году, также в Санкт-Петербурге. В 1886 году она была поставлена в Москве, Киеве, Казани, в 1887 — в Тифлисе, а в 1890 — в Праге.
Наиболее значительным из камерно-вокальных произведений стало «Слово о Полку Игореве» для голоса и фортепиано (1873). Романсы и фортепьянные пьесы печатались в «Музыкальном мире», «Звезде», «Нувеллисте», изданы В. Бесселем и М. Бернардом. Среди хоровых произведений следует отметить хор «Молитва о Руси», получивший премию на конкурсе русского музыкального общества (1877). Соловьёв собрал около 300 русских народных песен; некоторые из них вошли в издание Академии Наук «Великорусс» (материалы, собранные П. В. Шейном).
С 1870 года печатался в журнале «Музыкальный сезон». Как критик занимал несколько консервативные позиции, регулярно подвергал критике творчество композиторов «Могучей кучки».
Редактировал музыкальный отдел «Энциклопедического словаря Брокгауза и Ефрона» В 1874—1909 преподавал композицию и теорию музыки в Петербургской консерватории (с 1885 года — профессор); среди его учеников, в частности, Самуил Майкапар. Написал несколько учебников по гармонии. В 1906—1912 был управляющим Придворной певческой капеллы.