Родился 21 января 1925 года в деревне Кадренай Укмергского района, в семье крестьянина Вацловаса Сваринскаса. Получил неоконченное богословское образование (4 курса Каунасской духовной семинарии, с 1942 года).
В декабре 1946 года впервые арестован за связь с антисоветским подпольем, 26 марта 1948 года постановлением Особого совещания при МГБ СССР осужден к 10 годам лишения свободы по статьям 17-58-1а, 58-11 (первоначальный приговор, 10 лет лишения свободы и 5 лет поражения в правах, был опротестован как основанный на показаниях, данных под пытками, дело было возвращено на повторное следствие, однако Сваринскас был затем осужден по той же статье). Содержался в пос. Абезь Коми АССР.
В заключении 3 октября 1954 года тайно рукоположен в священный сан епископом Пранасом Раманаускасом (1893—1962).
Освобожден 20 марта 1956 года, вскоре вновь арестован и 26 июля 1958 года осужден верховным судом Литовской ССР к 6 годам лишения свободы по ст. ст. 58-10 ч. 1 (за хранение книг и журналов, изданных в довоенной Литве). Находился в Мордовии. Освобожден 9 апреля 1964 года. Был настоятелем прихода в пос. Видукле, членом Католического комитета защиты прав верующих.
В следующий раз арестован 26 января 1983 года, 6 мая 1983 года по ст. 68 ч. 1 УК ЛитССР осужден верховным судом ЛитССР к 7 годам лишения свободы и 3 годам ссылки. Срок отбывал в Пермских лагерях. Указом президиума Верховного Совета СССР от 26 июня 1988 года помилован и 11 июля 1988 года освобожден.
По выходе из заключения в 1988 году выехал за границу (что являлось условием его освобождения), посещал представителей литовской диаспоры. В 1990 году вернулся в Литву. Был избран членом Восстановительного Сейма.
В 1990-1991 гг. являлся канцлером архиепископа Каунасского, кардинала Винцентаса Сладкявичуса (1920—2000), в 1991-1995 гг. — главным капелланом вооруженных сил Литвы, получил воинское звание полковника запаса. Затем настоятельствовал в ряде церквей.
Активно занимается увековечением памяти борцов за независимость Литвы. Член партии Союз Отечества — Литовские христианские демократы.