Александр Гречанинов родился в Калуге, в купеческой семье. Очень скоро его родители переехали в Москву, где и прошло всё детство и юность. Проучившись в гимназии всего пять классов, Гречанинов довольно скоро бросил занятия и в течение последующих пяти лет нигде не учился. Музыкой он начал заниматься очень поздно. В своей автобиографии, написанной в семидесятилетнем возрасте, Александр Гречанинов вспоминал, что «настоящее» фортепиано впервые увидел в возрасте четырнадцати лет, а из музыкальных инструментов до той поры знал только оркестрион и гитару. Первая мелодия, которую он смог робко подобрать на пианино «одним пальцем», была ектения.
В этой короткой начальной фразе из воспоминаний композитора в концентрированном виде заложена почти вся его будущая творческая жизнь. Только будучи уже молодым человеком семнадцати лет, в 1881 году Гречанинов поступил в Московскую консерваторию, где проучился ещё девять лет. По классу фортепиано — у Николая Кашкина, по классу контрапункта — сначала у Лароша и Губерта, а затем — у Сергея Танеева, который, приметив у молодого студента склонность к сочинительству, также давал ему и частные уроки свободного сочинения (за которые никогда не брал денег). Именно во время обучения в классе Танеева Гречанинов сочинил около десятка первых своих романсов, два или три из которых потом получили очень широкую известность и постепенно составили ему имя и известность. Более других оказалась популярна «Колыбельная» на стихи Лермонтова, она прочно вошла в обиход концертного и домашнего музицирования, а потому запомнилась очень надолго, так что даже спустя более чем полвека во время празднования 90-летия Гречанинова, во многих статьях его называли «композитором знаменитой Колыбельной».
В 1890 году Гречанинов закончил педагогические курсы московской консерватории по классу Василия Сафонова, тогдашнего директора — и для продолжения обучения композиции — переехал в Петербург, где школа преподавания свободного сочинения была значительно более развита. Он поступил в класс Римского-Корсакова, тогда наиболее влиятельного и авторитетного композитора и педагога. За три года учения у Гречанинова сложились ровные и доброжелательные отношения со своим профессором, но тёплого человеческого контакта не получилось и в число «любимых учеников» он также никогда не входил. Испытывая искреннее восхищение перед своим учителем, Гречанинов обижался на него за постоянную «холодность и дистанцию» и до конца жизни сожалел о несостоявшейся дружбе с маститым профессором. Пожалуй, это в конечном счёте и явилось одной из причин возвращения в Москву. Закончив в 1893 году Петербургскую Консерваторию по классу композиции Римского-Корсакова экзаменационной кантатой «Самсон», Гречанинов спустя ещё два года вернулся в Москву, где преподавал в музыкальной школе сестёр Гнесиных, а позднее руководил детским хором в частной школе Т. Л. Беркман.
Как один из верных учеников Римского-Корсакова и последователей традиционной русской школы (так называемой «Могучей кучки»), Гречанинов был замечен кружком лесопромышленника и мецената Беляева. Первые его опусы («Пять романсов» и струнный квартет g-dur) выходят в Лейпцигском издательстве Беляева, а квартет в 1894 году отмечается премией петербургского общества камерной музыки (тоже беляевского). В ранних сочинениях Гречанинова без труда обнаруживается влияние его учителя, Римского-Корсакова и Чайковского, сочинениями которого он был сильно увлечён с детства. Впрочем, в консерваторских кругах его недолюбливали. Профессора Московской консерватории сходились на том, что он не просто не слишком талантлив и «туговат» в музыке, но ещё у него и нет «никакого своего слова». Это отношение усугублялось также и свойствами характера: Гречанинов за себя стоял жёстко и неумолимо и постоянно вступал в споры в профессорами, чем всех раздражал.
Самыми ортодоксально «кучкистскими» из произведений Гречанинова можно назвать первые две его симфонии и оперу «Добрыня Никитич», написанную примерно за шесть лет (1896-1902). Кроме главной былинной темы сюжета и стилистического склада этой оперы, типично почвенной и национальной, во время её написания Гречанинов активно занимался сбором песенного этнографического материала и советовался с наиболее влиятельными участниками «Могучей кучки». В результате опера получилась совершенно в русле балакиревской идеологии.
В результате опера встретила благосклонный приём у Римского-Корсакова, который похвалил добротную работу и написал Гречанинову, что «радуется на оперу и считает её хорошим вкладом в русскую оперную музыку». Поставленная в 1903 году, в Большом театре, опера была встречена спокойно и не имела большого резонанса из-за своей слишком явной традиционности. По общему мнению, она опоздала появиться на сцене — лет на тридцать.
Интересуясь более всего народной песней и сопутствующим этнографическим материалом, Гречанинов собрал и обработал большое количество народных песен, в частности, русских, белорусских, татарских, башкирских и прочих. Долгие годы активно участвовал в работе Музыкально-этнографической комиссии при Московском университете, а с 1903 года — стал заместителем её председателя. С 1910 года начал выступать в концертах, в основном аккомпанируя певцам, исполнявшим его собственные песни и романсы. Однако, не вся творческая биография Гречанинова проходила одинаково гладко. Так, например, скандальную известность приобрела его вторая опера «Сестра Беатриса» (на сюжет Мориса Метерлинка), поставленная в 1912 в частной опере Зимина. Вскоре после успешной премьеры спектакль был осуждён и запрещён к исполнению духовной цензурой за неканоническое освещение библейских сюжетов. Формальным поводом запрета послужило — появление на сцене поющей пресвятой Девы Марии. Обратившись к творчеству Метерлинка, Гречанинов одновременно попытался хотя бы немного «модернизировать» и свой музыкальный язык, и образный строй, чтобы не выглядеть посреди эпохи всеобщего «декаданса» последним махровым ретроградом…
Среди московских музыкантов начала XX века Гречанинов занимал место умеренного традиционалиста, причём умеренность эта скорее была связана с природной общительностью и незлобивостью его характера, чем с настоящим стилем его музыки, которая на деле была значительно более ретроградна, чем её автор. Личное своё упорство или «упрямство», Гречанинов никогда не переносил на убеждения других музыкантов и тем более, композиторов, когда дело не касалось его самого или его творчества. Проще говоря, он был совершенно не агрессивен. Однако, вполне точная позиция и стилистические пристрастия Гречанинова среди противоборствующих музыкальных группировок ни у кого не вызывали особых сомнений, они были вполне определёнными и точными:
Тем не менее, прохладное отношение к творчеству Скрябина и практически полное отсутствие личного контакта не помешало Гречанинову, как человеку глубоко православному, активно участвовать в панихиде и похоронах после скоропостижной кончины Скрябина весной 1915 года.
Февральскую революцию Гречанинов принял с восторгом, характерным для большей части русской интеллигенции. Пожалуй, невозможно сказать об этом предмете ярче и нагляднее, чем это он сделал сам, спустя пятнадцать лет после описываемых событий:
После революции 1917 года Александр Гречанинов несколько лет концертировал в качестве дирижёра и пианиста, а также продолжал работать с детскими хорами. Однако, с каждым годом стареющему композитору становилось жить всё тяжелее и тяжелее среди беспорядочной и разрушенной революцией и гражданской войной республики.
В 1925 году, будучи уже шестидесятилетним человеком, Александр Гречанинов вместе со своей второй семьёй эмигрировал в Европу. Там, более десяти лет он прожил в Париже, а с началом войны, в 1939 году — переехал в Нью-Йорк.
Подобно многим другим композиторам, эмигрировавшим из Советской России, творчество Гречанинова на долгие годы было вырвано из культурного и концертного контекста. Тем более этому способствовала явно православная и христианская направленность большей части его творчества.
В 1934 году Гречанинов написал книгу воспоминаний «Моя музыкальная жизнь», опубликованную в Париже, а спустя 20 лет — в Нью-Йорке (в переводе на английский язык).
Александр Гречанинов похоронен на Свято-Владимирском православном кладбище в Джексоне (Кассвилл), штат Нью-Джерси, США.
Руке Александра Гречанинова принадлежат всего 59 опубликованных опусов, а также 8 сочинений без присвоенных им при публикации номеров и ещё 6 сочинений не изданных. Однако, трудно утверждать, что этот список — полный. В творческом наследии Гречанинова преобладает вокальная и хоровая музыка. Его стиль большей частью — гомофонный, лишённый сложной фактуры и контрапунктов. Он написал более ста романсов, десятки циклов хоров a cappella. Особенно можно отметить сборники и циклы его детских песен, по материалу и интонации чрезвычайно близких к народным, например, цикл из шести песен «Ай дуду» (1903 года), сборник из двадцати русских народных песен «Петушок» (1906 года) и цикл «Снежинки» (десять песен 1907 года). В этой части творчества Гречанинова нередко называют прямым продолжателем лядовских методов и традиций. Среди наиболее известных светских хоровых сочинений Гречанинова можно назвать «Траурный гимн», «Матушка Русь» (на стихи Некрасова) и хор «Памяти павших за свободу».
Немалое место среди произведений Гречанинова занимают также театральные произведения: оперы «Добрыня Никитич» (поставлена в Москве, в Большом театре в 1903 году), «Сестра Беатриса» на сюжет Метерлинка (Москва, театр Зимина, 1912 год) и «Женитьба» (по Гоголю, поставлена в Париже, 1950). Последнюю оперу композитор написал, когда ему было уже за восемьдесят лет.
Гречанинов написал также несколько детских опер: «Ёлочкин сон» (1911), «Теремок» (1921), музыку к драматическим спектаклям А. К. Толстого «Царь Фёдор Иоаннович» (Москва, 1898) и «Смерть Иоанна Грозного» (1899), а также — к «Снегурочке» А. Н. Островского (1900). За всю жизнь Гречанинов написал 5 симфоний (1894—1937), «Элегию» памяти Чайковского, оставшуюся неизданной (1897), несколько других оркестровых сочинений, среди которых наиболее известна «Демественная литургия» для струнного оркестра, 4 квартета, ряд фортепианных пьес, а также выполнил множество обработок народных песен для камерного и хорового музицирования.