Жил в небольшом, но известном городе-курорте Сигулда. Выступал в соревнованиях сельских шахматистов. Сотрудничал с Михаилом Талем в подготовке к некоторым ответственным соревнованиям.
Шахматист cамобытного дарования и яркого атакующего стиля, где смелые жертвы сочетались с парадоксальностью замыслов и дальностью расчета. Был блестящим игроком блиц (в память о Витолиньше проходят мемориальные блиц-турниры). Общение и игра в одних турнирах с Витолиньшем способствовали становлению молодого поколения латвийских шахматистов, среди которых наиболее ярким и выдающимся стал Алексей Широв, на первых порах нередко проигрывавший Витолиньшу (другие мастера Александр Шабалов, Эдвинс Кеньгис, Зигурдс Ланка и др.)
Внёс ценный вклад в теорию дебютов. Разработал современную теорию атаки Кохрена- острого гамбитного варианта в русской партии (защите Петрова): 1. e4 e5 2. Kf3 Kf6 3. K:e5 d6 4. K:f7?!.
Его именем назван один из вариантов сицилианской защиты: 1.e4 c5 2.Кf3 d6 3.d4 c:d4 4.К:d4 Кf6 5.Кc3 e6 6.Сb5+ (Вариант Витолиньша).
Ввел в практику гамбитный вариант защиты Нимцовича (за черных) — с жертвой пешки b5 (1.d4 Кf6 2.c4 e6 3.Кc3 Сb4 4.Фc2 0-0 5.a3 Сxc3+ 6.Фxc3 b5!!). Именем Витолиньша также назван вариант защиты Боголюбова с ранним продвижением пешки с (1.d4 Кf6 2.c4 e6 3.Кf3 Сb4+ 4.Сd2 c5!).
Покончил жизнь самоубийством 16 февраля 1997 года, выбросившись с железнодорожного моста на обледенелую реку Гауя.