Родился 24 июля (5 августа) 1821 года в Боровинском винокуренном заводе в Вышневолоцком уезде Тверской губернии (ныне Окуловский район Новгородской области) в семье крупного помещика и сахарозаводчика Аггея Васильевича Абаза (1782—1852) — из молдавского дворянского рода.
В 1839 году окончил юридический факультет Петербургского университета, позже служил в армии ( в конно-пионерском эскадроне и Лейб-Гвардии гусарском полку), участвовал в боевых действиях на Кавказе (1843, награждён орденом Св. Владимира 4-й ст. с мечами), но в 1847 году в чине майора вышел в отставку.
В 1847—1857 годах жил в своём имении, занимаясь сельским хозяйством и изучением финансового права.
Присоединился к просвещенному кружку, который группировался вокруг великой княгини Елены Павловны ( с 1857 года был церемонимейстером, с 1867 года гофмейстером двора великой княгини) и был одним из защитников реформ 1860-х годов. Также входил в группу «либеральных бюрократов».
В 1865—1868 годах был членом Совета Министра финансов, являлся членом первого совета Главного общества российских железных дорог (принимал деятельное участие в сооружении Харьковско-Кременчугской железной дороги).
В 1871—1874 годах был государственным контролёром, а в 1874—1880 годах — председателем департамента экономии государственного совета. С 1871 года являлся членом Государственного совета Российской империи.
В период октябрь 1880 — май 1881 был министром финансов России, был инициатором отмены соляного акциза, выкупа частных железных дорог; осуществил повышение таможенных пошлин. Вместе с М. Т. Лорис-Меликовым и Николаем Христиановичем Бунге разработал программу социально-экономических преобразований в области податного дела, денежного обращения, железнодорожного строительства, финансового управления. Активно поддерживал проект конституции Лорис-Меликова.
Подал в отставку после данного новым императором Александром III манифеста «О незыблемости самодержавия»; уволен 6 мая 1881 года.
В 1884—1892 годах вновь — председатель департамента экономии государственного совета;В 1890—1892 годах — председатель Комитета финансов.
В 1889 году удостоен ордена Св. апостола Андрея Первозванного.
В 1892 году, используя инсайдерскую информацию, провёл биржевую операцию на понижение курса рубля, заработав около 1 млн руб; после огласки дела был вынужден подать в отставку. 10 марта 1893 года уволен от всех занимаемых должностей в бессрочный отпуск с оставлением членом Госсовета.
Похоронен на Тихвинском кладбище Александро-Невской лавры в Санкт-Петербурге.
Женат был дважды. Первая жена Александра Дмитриевна Бенардаки (1838—1856), а вторая жена Юлия Фёдоровна Штуббе (1830—1915). От первого брака была рождена дочь Прасковья. Его потомки проживают в Санкт-Петербурге.