Фишер, сама шотландка, родилась и жила до 9 месяцев в Маскате в Омане, так как её отец находился на особой банкирской должности в ООН. Её имя было дано ей в честь шотландского острова Islay, однако после обряда перехода в иудаизм, на чём настаивал её будущий супруг Саша Барон Коэн, Айсле было присвоено имя Айсяла (что на иврите означает "олениха"). У супругов есть совместная дочь.