Родился в латышской семье на хуторе Пакули Наукшенской волости в Лифляндской губернии. В Российской армии с марта 1917 года. По окончании Одесской школы прапорщиков был отправлен на Западный фронт. В 1917 году вступил в РСДРП, большевик. был военкомом Орловской губернии. С мая 1919 года в Красной Армии, комиссар 55-й стрелковой дивизии. Руководил разгромом белогвардейских и повстанческих отрядов в Орловской губернии и антисоветских казачьих отрядов на Дону. Затем военком Донской области. С 1920 г. пом. командующего Орловского военного округа.
Несмотря на занимаемый им высокий пост заместителя начальника ВВС РККА, Алкснис в 1929 году сумел освоить специальность лётчика. 21 июля 1929 года он, совместно с лётчиком Писаренко на самолёте Р-5 совершил беспосадочный перелёт из Москвы до Севастополя, показав среднюю скорость 233 км/ч и преодолев 1300 километров пути. На следующий день они пролетели по тому же маршруту обратно и вновь беспосадочно.
Интересно, что на момент перелёта Алкснис ещё не имел официального звания военного лётчика. Оно было присвоено ему только в ноябре 1929 года после обучения в Качинской военной школе лётчиков. В дальнейшем Алкснис неоднократно вылетал с проверками в воинские части, пилотируя самолёт самостоятельно.
С 1931 командующий ВВС РККА и член Реввоенсовета СССР. Позже также член Военного Совета Наркомата обороны.
В ноябре 1932 года внес предложение об учреждении Дня авиации с «целью популяризации гражданской и военной авиации в массах». СНК СССР постановил проводить празднование — 18 августа, ежегодно.
С января 1937 года заместитель наркома обороны по авиации.
Принимал участие в проведении репрессий в РККА. Входил в состав Специального судебного присутствия, которое 11 июня 1937 года приговорило к смертной казни группу военачальников во главе с М. Н. Тухачевским.
23 ноября 1937 года снят со всех постов, исключён из ВКП(б) и арестован по обвинению в создании «латышской фашистской организации» в РККА.. На следствии к Алкснису применялись избиения и пытки. Признал себя виновным, 28 июля 1938 года приговорен к смертной казни. Расстрелян 29 июля 1938 года на Коммунарском полигоне по приговору Военной коллегии Верховного суда СССР. Реабилитирован и восстановлен в партии в 1957 году.
Жена Алксниса — Кристина Карловна Алкснис-Меднис получила 8 лет ИТЛ, которые отбывала в Темлаге. После освобождения с 1946 по 1949 год жила в Риге, но затем была снова арестована и до 1954 года находилась в ссылке в Красноярском крае. Их сын — Имант (отец Виктора Алксниса), которому ко времени ареста родителей едва исполнилось 10 лет, был отправлен в детский дом и два десятилетия ничего не знал о своих родителях. Имант Алкснис был гражданским инженером. Закончил вуз и работал в промышленности.
В 1977 году на родине Я. Алксниса был открыт памятный знак (судьба знака в настоящее время неизвестна).
Имя Я. Алксниса в 1968-93 годы носило Рижское высшее военное авиационное инженерное училище. РВВАИУ им. Я. Алксниса располагалось в г. Риге на берегу Киш-озера (Кишэзерс) на базе старого аэродрома (в период ВОВ на озере базировались гидросамолёты люфтваффе). Училище было расформировано осенью 1993 года в связи с выводом с территории Латвии войск бывшей Советской армии.