Родился в Западном Миддлсексе, штат Пенсильвания. В возрасте 17-ти лет, Альфред вместе со своей семьей отправился в Канзас и в 1908 году поступил в Университет Канзаса. Он начинал свою карьеру простым банкиром, но уже в 1912 году он стал искателем нефти. Во время Второй мировой войны Лэндон был первым лейтенантом химического оружия в Армии США. К 1929 году нефтяная промышленность сделала его миллионером.
В 1922 году стал личным секретарем губернатора штата Канзас. Позже стал известен как лидер либеральных республиканцев в штате. В 1928 году Лэндон был избран председателем Республиканского государственного центрального комитета. В 1932 году стал губернатором штата Канзас и занимал эту должность до 1937 года. В качестве губернатора, Лэндон прославился тем, что снизил налоги и сбалансировал бюджет.