На выборах 1944 он уступил Федерации объединённого содружества Томми Дугласа, а в 1946 ушёл в отставку из руководства Либеральной партии.
Паттерсон был также лейтенант-губернатором провинции с 1951 по 1958, став первым, кто за свою карьеру был и премьер-министром, и лейтенант-губернатором провинции.