Долли родилась в 1768 году в Нью-Гардене, ныне Гилфорд Кантри, Северная Каролина, в семье фермера. Свои подростковые годы она провела в Филадельфии. В январе 1790 года она вышла замуж за юриста Джона Тодда; у семейной пары было двое детей — Джон Пэйн (1792—1852) и Уильям Темпл (родился и умер в 1793). Осенью 1793 её муж и младший сын скончались от жёлтой лихорадки, эпидемия которой накрыла Филадельфию.
Вторым супругом Долли стал Джеймс Мэдисон, с которым она сочеталась браком 17 сентября 1794 года. Детей у них не было, однако они вместе растили Джона — сына от первого брака Долли. В 1801 году семейная чета переехала в Вашингтон. Как жена государственного секретаря (такую должность занимал её муж с 1801 по 1809 год), Долли Мэдисон выполняла роль хозяйки Белого дома во время президентства Томаса Джефферсона, который был вдовцом.
Во время войны 1812 года перед захватом Вашингтона британской армией Долли Мэдисон спасла серебро и другие драгоценности Белого дома, отправив их на хранение в банк Мэриленда. Среди спасённых ею вещей был также портрет Джорджа Вашингтона.