Окончил Сибирский кадетский корпус в Омске (1888) и Павловское военное училище (1890). Вступил в службу хорунжим в 3-й Сибирский казачий полк. В 1900 году перешёл из казачьих войск на службу в Туркестанский военный округ, где прослужил до 1904 года, вернувшись в 7-й Сибирский казачий полк. В 1906—1914 годах служил уездным начальником Пржевальского, Верненского и Ходжентского уездов в Туркестанском военном округе. Получил чин подполковника.
Участник Первой мировой войны. Участвовал в боях в Карпатских горах, произведён в полковники. В 1916 году отозван с фронта, назначен Семиреченским губернатором. Сыграл решающую роль в подавлении антирусского мятежа в Туркестане. Покинул Туркестан после Февральской революции 1917 года, зачислен в резерв Кавказского военного округа. С сентября 1917 года — командир 1-го Сибирского казачьего полка, с ноября — Отдельной Сибирской казачьей бригады, которую привёл в Петропавловск в 1918 году для расформирования.
В начале 1918 года начал подпольную контрреволюционную деятельность, вскоре стал руководителем антибольшевистских отрядов Степной Сибири. В это же время принял псевдоним Ринов. После свержения в Омске советской власти становится командиром Степного корпуса, затем избран войсковым атаманом Сибирского казачьего войска. С 1 октября по 4 ноября 1918 года — Военный министр Временного Сибирского правительства, сменив на этом посту А. Н. Гришина-Алмазова. Одновременно — командующий Сибирской армией Уфимской Директории. Находясь на своём посту, ввёл звания и погоны императорской армии. 13 сентября 1918 года издал указ, согласно которому все офицеры, служившие у большевиков, объявлялись предателями. После назначения военным министром А. В. Колчака назначен командующим Семиреченским фронтом с сохранением должности командующего Сибирской армией. После переворота и захвата власти А. Колчаком официально признал Колчака Верховным Правителем России.
Назначен помощником по военной части генерала Хорвата, оставил пост командующего Сибирской армии (принял его вновь по прибытии в Омск). В декабре 1918 года возглавил подавление восстания в Омске. 23 декабря того же года снят с поста командующего Сибирской армией и отправлен во Владивосток, где был назначен командующим войсками Приамурского военного округа. В мае 1919 года вернулся в Омск, руководил формированием Отдельного Сибирского казачьего корпуса, с переменным успехом участвовал в боях на реке Тобол и 11 сентября был награждён орденом св. Георгия 4-й степени. Обвинялся общественными и военными кругами в бездействии и провале Тобольского наступления в августе — октябре 1919 года. За недельное бездействие на фронте в сентябре 1919 года отстранён Колчаком от командования. В ноябре 1919 года покинул Омск, арестован генералом Пепеляевым за измену. Освобождён, бежал в Красноярск, где находился на нелегальном положении. Эмигрировал в Харбин в марте 1920 года. В 1921 году — начальник штаба войск атамана Семёнова на Дальнем Востоке. Вскоре занял должность начальника тыла армии во Владивостоке. В 1922 году вместе с остатками войск генерала Дитерихса эвакуировался в Корею. С 1924 года — в Китае. В 1925 году вернулся в СССР.