В 2011 занял 5-е место в рейтинге миллиардеров с состоянием, оцениваемым в $39,5 млрд.
Ларри Эллисон родился в Нью-Йорке у Флоренсы Спеллман (англ. Florence Spellman), 19-летней незамужней еврейки. Его отцом был пилот американских ВВС итальянского происхождения. Отца перевели заграницу, на новое место службы ещё до того, как Спеллман поняла, что беременна. Когда девятимесячный Ларри заболел пневмонией, мать поняла, что не может нормально заботиться о своём ребёнке. По просьбе матери он был передан на воспитание дяде и тёте его матери в Чикаго. Лилия Спелман Эллисон (англ. Lillian Spellman Ellison) и Льюис Эллисон (англ. Louis Ellison) усыновили Ларри, когда ему было 9 месяцев. Эллисон не знал, как зовут его мать, и не встречался с ней 48 лет.
Эллисон вырос в Чикаго, посещал там школу и начал обучение в Иллинойском университете в Урбана-Шампейн. В связи со смертью приёмной матери не стал сдавать экзамены после второго года обучения. После лета, проведённого в северной Калифорнии с другом Чаком Вейссом, вернулся в Чикаго и проучился семестр в Чикагском университете, где впервые пересекся с компьютерным дизайном. В 1964 году, в возрасте 20 лет переехал в северную Калифорнию.
В 1970-е Эллисон поработал в Amdahl Corporation, затем в Ampex Corporation. Одним из его проектов в компании Ampex была разработка базы данных для ЦРУ, которую он назвал «Oracle» (Оракул).
На Эллисона большое влияние оказала статья Эдгара Кодда «A Relational Model of Data for Large Shared Data Banks», которая считается первой работой по реляционной модели данных. Он, совместно с двумя коллегами по Ampex, основал компанию Oracle в 1977 году под именем Software Development Laboratories (SDL). В 1979 году SDL была переименована в Relational Software Inc., а ещё через несколько лет — в 1982 году — в Oracle, по названию основного продукта — Oracle Database. Зная о существовании СУБД IBM System R, которая также базировалась на идеях Кодда, Эллисон попытался сделать СУБД Oracle совместимой с ней. Однако IBM отказалась раскрывать исходные коды программы и обеспечить совместимость СУБД не удалось. Первой выпущенной версией стала СУБД Oracle v2 в 1979 году, из маркетинговых соображений первый номер версии не присваивался.
В 1980-е годы Oracle занимался выпуском новых версий базы данных. В 1986 году акции Oracle стали котироваться на бирже. За три года компания удесятерила свои продажи, которые достигли 584 млн. долларов.
Однако уже в 1990 году компания столкнулась с трудностями, объявив об убытках, и вынуждена была уволить сотни своих сотрудников.