Руфф изучал медицину в университетах Бонна и Берлина. По окончании обучения работал в университетской больнице Бонна. С 1934 года становится одним из руководителей института воздушной медицины люфтваффе. В 1937 году вступает в НСДАП.
Предстал в качестве одного из главных обвиняемых на процессе над врачами. Руффу было предъявлено обвинение в проведении экспериментов над людьми в концентрационном лагере Дахау.
По заданию люфтваффе изучалась ситуация, когда пилот подбитого противником самолёта катапультировался с большой высоты и попадал в ледяную морскую воду. В ходе проведения эксперимента в концлагере Дахау была смонтирована камера в которой можно было смоделировать свободное падение с высоты 21 000 метров. Из 200 подопытных 70-80 погибли. Исследование влияния переохлаждения на организм изучалось путём погружения тела заключённого в ледяную воду.
Вместе с Руффом по этому делу были также обвинены Вельтц и Ромберг.
Суду не удалось доказать причастность Вельтца, Руффа и Ромберга к этим опытам, в связи с чем они были оправданы.
После освобождения организовывает диагностическую лабораторию в Бонне. Становится одним из ведущих врачей Люфтганзы. С 1954 по 1965 годы руководитель научно-исследовательского института воздушной медицины в Бонне. С 1952 года профессор университета в Бонне.