В 1861 году ушёл в отставку в звании полковника и переехал в родовое имение, расположенное в Ярославской губернии, а с 1870-х годов жил преимущественно в Ярославле. Служил председателем Ярославской губернской земской управы. В эту пору он отошёл от активной игры и лишь изредка состязался с братом Сергеем Урусовым.
Был женат на Варваре Баташовой. Известен сын Сергей, общественный и политический деятель. Дочь Варвара — жена политического деятеля Геннадия Калачова.