17 мая 1924 женился на Марлен Дитрих. Несмотря на то что супруги жили вместе лишь первые 5 лет замужества, они никогда не разводились, и Марлен Дитрих постоянно поддерживала своего официального мужа материально. Зибер жил с подругой Тамарей Матул на куриной ферме в долине Сан Фернандо.
Умер 24 июня 1976 после тяжёлой и длительной болезни (рак).
Супруга — Марлен Дитрих, дочь — Мария Рива.