Руффи изучал право в Лозанне, затем продолжил образование в Лейпциге, Гейдельберге и Париже. Он был членом лево-либерального студенческого объединения «Гельвеция» и это сформировало его политические убеждения. В 1877 году он получил диплом лиценциата и устроился стажёром в фирму Луи Рюшонне. Через три года получил патент адвоката.
Политическую карьеру начал в 1882 году, когда он был избран в Национальный совет на место Луи Рюшонне, который перешёл в Федеральный совет. В том же году Руффи стал членом Большого совета кантона Во. В кантональном парламенте он стал одним из лидеров радикально-демократической фракции и в 1885 году был избран в Кантональный совет (правительство), где руководил департаментом образования и религии. Главным событием во время его пребывания в этой должности, стало основание Лозаннского университета на месте академии, где он учился.
В 1893 году, после смерти Луи Рюшонне, он был избран на его место в Федеральном совете.
После отставки избран директором Всемирного почтового союза и занимал эту должность до своей смерти.