Пришёл к власти в Полоцке во время борьбы Рогволодом Борисовичем Друцким и Ростиславом Глебовичем Минским в 1162 году. Будучи женат на дочери Романа Ростиславича Смоленского и Киевского, находился в союзе со смоленскими князьями, передав Давыду Ростиславичу Витебское княжество в 1164 году.
В 1167 году Володарь Глебович Минский смог изгнать Всеслава из Полоцка, но после неудачного похода на Витебск вынужден был отступить.
В 1179 году Мстислав Ростиславич Храбрый, княжа в Новгороде, запланировал поход на Полоцк, но его старший брат Роман Ростиславич предостерёг его от такого шага и послал смоленское войско во главе со своим сыном Мстиславом на помощь Всеславу. Обострение отношений между Полоцком и Смоленском выразилось также в том, что Давыд Ростиславич был изгнан из Витебска, и его место занял брат Всеслава Брячислав Василькович, упоминаемый летописью уже в 1180 году в связи с совместным с Ольговичами походом под Друцк против Давыда.
Однако, в 1186 году Давыду удалось в союзе с новгородцами, Всеславом Рогволодовичем Друцким и Василько Володаревичем Логожским вернуть контроль над Витебском, посадив в нём своего зятя Василька Брячиславича.
Жена — дочь Романа Ростиславича Смоленского и Киевского.
Дети: