В 1978 Тори женился на Барбаре Хэккит. В семье четверо детей (Джон, Кристофер, Сьюзен и Джордж).
Некоторые консерваторы критиковали Тори за его либеральные в социальном отношении взгляды на определённые вопросы, включая однополый брак. Его экономическая политика была определена не так чётко. При этом известно, что он скорее был близок к красным тори (Red Tories).