Родился в Симбирске, потомственный дворянин, землевладелец (более 9 тыс. десятин земли в Симбирской и Казанской губерниях), владелец двух винокуренных, лесопильного и черепичного заводов.
В 1870 году окончил юридический факультет Казанского университета. В 1871 был определен на службу в канцелярию Комитета Министров, в 1871 состоял директором Санкт-Петербургского тюремного комитета. Вскоре оставил государственную службу и посвятил себя земскому делу. С 1875 неоднократно утверждался почетным мировым судьей по Карсунскому и Симбирскому уездам. С 1877 почетный попечитель симбирской гимназии. В 1877—1891 председатель Симбирского окружного правления Императорского общества спасания на водах. Председатель Симбирского общества сельского хозяйства. С 1898 и до конца жизни был губернским предводителем дворянства. С 1899 действительный статский советник, с 1903 — гофмейстер.
В 1906 избран членом Государственного Совета от Симбирского земства. Последовательно являлся членом правой группы и группы правого центра (с 1911). В Государственном Совете состоял членом комиссий финансовой и законодательных предположений.
Видный общественный деятель, участник дворянского движения, один из основателей «Всероссийского союза земельных собственников». Уполномоченный на съездах Объединенного дворянства, член его Постоянного Совета и комиссий.
Член Русского Собрания, в декабре 1906 был одним из инициаторов создания Симбирского отдела Союза Русского Народа. Член-учредитель Всероссийского Национального Клуба (1909), член Всероссийского Филаретовского общества народного образования (1914).
Инициатор создания и председатель (вместе с П. Л. Мартыновым) Симбирской губернской ученой архивной комиссии, известен своими трудами по археологии и изданием памятников старины. В 1890 в своем Симбирском имении Акшуат основал первый в губернии частный музей. Член-корреспондент французского и бельгийского обществ археологии, почетный член Императорского археологического института.
В настоящее время на территории поместья В.Н. Поливанова в с.Акшуат Барышского района реализуется проект по сохранению исторической памяти и восстановлению усадьбы - "Начни с себя".Инициаторами проекта являются УРО "Единая Россия". Создана 3D модель не сохранившегося дома Поливановых, разрабатываются проекты по созданию музея в здании бывшей лозоплетенческой мастерской, построенной по проекту архитектора А.А.Шодэ; по развитию туризма.
Был женат на Марии Николаевне Языковой. Дети: Людмила, Николай (р. 1896), Александр (р. 1890).