Родился в Рязани в семействе подполковника конной артиллерии (впоследствии — вице-губернатора Рязанской губернии) Андрея Васильевича Дашкова, брата Д.В.Дашкова.
Выпускник юридического факультета Московского университета. Действительный тайный советник. Гофмейстер. Вице-президент комиссии по сооружению Храма Христа Спасителя. Председатель Общества древнерусского искусства. Составитель «Описания Олонецкой губернии в историческом, статистическом и этнографическом отношениях» (1842).
В 1867 году взял на себя финансирование этнографической выставки в московском Манеже, организованной Московским обществом любителей естествознания, пожертвовав на устройство будущей экспозиции 40 тысяч рублей. На ней среди других предметов старины была впервые представлена его личная этнографическая коллекция, которая легла в основу музея русской этнографии (первоначально — отделение Румянцевского музея). Коллекция музея состояла из 288 художественно исполненных манекенов, изображавших представителей племён России и славянских земель, до 450 костюмов, до 1200 предметов домашнего быта и до 2000 рисунков и фотографий. По заказу Дашкова были исполнены и раскрашены фотографические снимки крупных размеров со всех манекенов, входящих в состав музея, и таким образом составлен единственный в своём роде альбом народностей России и славянских земель.
На посту помощника попечителя Московского учебного округа (с 1860 года) заботился о пополнении этнографической коллекции Московского публичного и Румянцевского музеев (в настоящее время — Российская государственная библиотека), директором которых был назначен 14 мая 1868 года, с увольнением от прежней должности.
С 21 декабря 1868 года началась служба В. А. Дашкова по Опекунскому совету, а с 15 декабря 1874 года он назначен попечителем Московских женских гимназий.
В последние годы жизни был почётным членом берлинского православного Свято-Князь-Владимирского братства.
Дашков способствовал развитию всех направлений деятельности музеев, инициировал и содействовал поступлению ценных пожертвований, продолжал привлекать к работе в музеях лучших людей своего времени, укреплял и поднимал уважение к музеям. За свой счёт издал ряд научных трудов, в том числе «Сборник антропологических и этнографических статей о России и странах ей прилежащих» (книги I—II, М., 1868-73), «История русской жизни с древнейших времён» И. Е. Забелина (части I—II, М., 1876-9), «Материалы для исторического описания Румянцевского музея» К. И. Кестнера (М., 1882), «Сборник материалов по этнографии» под редакцией В. Ф. Миллера (выпуски I—III, М., 1886-88). 28 мая 1882 года Дашков пожертвовал Музеям «Собрание изображений русских деятелей», которое состояло из 243 портретов, скопированных с лучших подлинников Крамским, Репиным, Васнецовым и другими художниками. Дашков неоднократно передавал в фонд Музеев ценнейшие материалы: автографы А. С. Пушкина, старославянские книги, гравюры, картины, этнографическую коллекцию — «Дашковский этнографический музей», который в 1924 году перешёл в Центральный музей народоведения.
За свою деятельность был награжден орденами: Св. Анны 3-й степени, Св. Станислава 1-й степени, Св. Владимира 1-й степени.
В 1897 вдова Дашкова передала в дар Музеям 1000 рублей на пополнение собрания (в настоящее время это собрание хранится в Государственном историческом музее в Москве).