Рано потерял отца. Учился в гимназии в Вилкавишкисе, но учёбу не закончил. В 1919 году участвовал в боях за независимость Литвы. После демобилизации (1920) в Каунасе работал в редакциях различных газет, в литовском телеграфном агентстве Эльта, одновременно учился в гимназии для взрослых, вольнослушателем посещал Литовский университет. Получив в 1925 году государственную стипендию, в 1926 году уехал в Париж изучать журналистику. Общался и сотрудничал с авангардистскими литераторами разных стран.
С 1932 года жил в США. Редактировал эмигрантские периодические издания. Умер в Бруклине. По завещанию прах в декабре 1962 года был перевезён и захоронен в Вильнюсе на кладбище Росса (Расу).
Дебютировал в печати в 1918 году. Участвовал в литовском авангардистском движении «четырёхветровцев» во главе с Казисом Бинкисом.
Издал сборники стихотворений „?altvyksl?s“ («Блуждающие огни», 1922), „Traukinys“ («Поезд», 1923), „Nemuno rankose“ («В руках Немана», 1924), „Auksu lyta“ («Золотом лило», 1925), „Tolyn“ («В даль», 1926). Автор поэм «Тислява в Париже» и „Tawa nauson“. В Париже выпустил сборник стихотворений на французском языке „Coupe de vents“ («Кубок ветров», 1926; перевод Халины Издебской) с предисловием Оскара Милоша.
С 1933 года редактировал газету „Vienyb?“ («Единство»), с 1940 года был её издателем. В 1939—1940 годах издавал журнал „Lietuva“ («Литва»).
Переводил стихотворения латышских, финских, эстонских поэтов. На русский язык стихотворения Тислявы переводили И. Векшегонова, Т. Я. Сырыщева, Е. Л. Шкляр.