Родился в многодетной семье. После теологического обучения в 1897 году получил докторат по каноническому праву в Толедо. В 1887 году был рукоположен в священника. Служил викарием в городах Чинчон, Эстремера, исполняя обязанности капеллана монахинь в Мадриде и преподавая теологию в местной семинарии.
В 1906 году вступил в орден иезуитов и стал заниматься пастырской деятельностью среди беднейших жителей Мадрида.
6.10.1985 года римский папа Иоанн Павел II причислил Иосифа Марию Рубио Перальта к лику блаженных, 4.05.2003 года он был причислен к лику святых.
День памяти в Католической церкви — 2 мая.