Родился в семье шотландского морского офицера Сэмюэля Грейга, перешедшего на российскую службу из английского флота в чине капитана 1 ранга. В год рождения сына (1775) его отец был командующим Кронштадтским портом.
При крещении Алексея императрица и граф Алексей Орлов-Чесменский были его крестными родителями. В уважение заслуг отца и с верой, что сын продолжит его дело, Екатерина II пожаловала младенца чином мичмана.
В 1785 году Грейг был отправлен в Англию изучать морское дело. В 1788 году юноша вернулся на родину, и 19 мая был назначен на корабль «Мстислав». Императрица, продолжая покровительствовать над детьми Грейга, произвела юношу в капитан-лейтенанты. По завещанию умершего Грейга-старшего Алексей вновь отправился в Англию и до 1796 года проходил там морскую службу на кораблях всех классов, плавал в Атлантическом и Тихом океанах. По возвращении, имея отличные рекомендации командиров британского флота, был произведён Павлом I 17 декабря 1796 года в капитаны 2-го ранга и назначен командиром фрегата «Архангел Михаил».
В 1798-1800 годах участвовал в войне России против Франции. Грейг командовал 64-пушечным кораблем «Ретвизан» и крейсировал с союзной эскадрой в Северном море у острова Тексель. В 1799 году участвовал в высадке десанта в Голландии, во взятии крепости Гельдерн и захвате голландских кораблей. 1 января 1799 года был произведен в капитаны 1-го ранга и в том же году награжден орденом Св. Анны 2-й степени.
26 ноября 1802 года Грейг, за проведение 18 полугодовых морских кампаний был награждён орденом св. Георгия 4-й степени (№ 1406 по кавалерскому списку Григоровича—Степанова), а 9 января 1803 года произведен в чин капитан-командора.
В 1802 году Грейг был привлечен к работе «Комитета по исправлению флота» — созданного по инициативе Александра I, который считал морские дела для России второстепенными, 27-летний Алексей Самуилович являлся единственным капитаном 1-го ранга среди шести адмиралов, составлявших комитет. Не соглашаясь с выводами комитета, он отказался подписываться под разработанными предложениями. В 1804 году Грейг добился назначения на действующий военный флот и возглавил переход четырёх кораблей из Кронштадта в Средиземноморье, к военно-морской базе острова Корфу, завоеванной Ушаковым в 1799 году.
Вскоре став младшим флагманом у Дмитрия Сенявина и получив 27 декабря 1805 года чин контр-адмирала, Грейг участвовал практически во всех боевых действиях русского флота в период Адриатической экспедиции 1805—1807 годов и Второй Архипелагской экспедиции 1807 года. Вначале он успешно защитил республику Ионических островов от французов, а с началом русско-турецкой войны 1806—1812 годов перешёл с Сенявиным в Эгейское море для блокады Дарданелл. В марте 1807 года Грейг руководил десантом при захвате острова Тенедос вблизи Дарданелл. Затем участвовал в сражении в самом проливе, завершившемся успехом русского флота. 19 июня в Афонском сражении Сенявин поручил Грейгу, державшему флаг на «Ретвизане», возглавить группу кораблей, атаковавших авангард турецкого флота (другой такой группой командовал сам флагман). После жаркого боя и отступления турок Грейг с кораблями «Ретвизан», «Сильный», «Уриил» и «Св. Елена» был послан преследовать противника и вынудил экипажи трех отставших турецких кораблей выброситься на мель и сжечь свои суда. 18 сентября 1807 года Грейг был награжден орденом Св. Анны 1-й степени.
С началом Отечественной войны 1812 года Грейг командируется с дипломатическими поручениями в Константинополь, на Мальту и Сицилию для привлечения к России союзников в войне с Наполеоном. Состоял при командующем Молдавской армией П. В. Чичагове.
В 1813 году, с началом заграничного похода русской армии, опытный моряк был назначен командиром флотилии судов, осуществлявших морскую блокаду Гданьска. За свои успешные действия удостоен 4 сентября того же года чина вице-адмирала и награжден орденом Св. Владимира 2-й степени.
В марте 1816 года Грейг получил назначение на должность главного командира Черноморского флота, одновременно — военного губернатора Севастополя и Николаева. Находясь в этой должности до 1833 года, многое сделал для восстановления пришедшего в упадок Черноморского флота. Заботился об увеличении числа кораблей и усовершенствовании их конструкции, участвовал в создании первых паровых судов, организовал постройку большого числа малых судов для практического обучения морских экипажей, ежегодно выходил в плавания с эскадрой. Построил в Николаеве морскую астрономическую обсерваторию и морскую библиотеку, за что в 1822 году был избран почётным членом Петербургской академии наук. Участвовал в работе «Комитета образования флота».
Командующий Черноморским флотом многое сделал для обустройства Николаева. В городе были воздвигнуты портовые сооружения, создано кредитное общество, активизировалась морская торговля. При Грейге в Николаеве появился Морской бульвар, начались работы по освещению города, прокладке тротуаров, открыты мужские и женские училища, построен приют. Город украсился новыми зданиями, активно озеленялся.
В 1826 году Грейг впервые в истории русского флота создал в Николаеве штаб, в задачу которого входила организация боевой подготовки флота в мирное время и разработка планов операций во время войны.
В 1827 году по его распоряжению были проведены первые раскопки Херсонеса, при которых было открыто три храма.
В русско-турецкой войне 1828—1829 флот под командованием Грейга успешно действовал на коммуникациях противника. Его черноморская эскадра поддерживала действия русских сухопутных армий на Балканах и Кавказе. В июне 1828 года эскадра под руководством Грейга и начальника Главного морского штаба А. Меншикова двинулась к Анапе и вскоре овладела ею. Затем были победы под Варной, Мессемерией, Ахнолло, Инадой, Мидией, Сан-Стефано, Бургасом, Сизополем, крейсерство у Босфора, анатолийских и абхазских берегов. За умелые действия в войне флотоводец был произведен в адмиралы.
В 1833 году Грейг руководил подготовкой черноморской эскадры для Босфорской экспедиции, но командование ею было поручено уже начальнику его штаба контр-адмиралу Михаилу Лазареву. Здоровье главного командира Черноморского флота было ослаблено многолетней неутомимой деятельностью, и по возвращении Лазарева в Севастополь Грейг передал ему свой пост.
В 1833 году для проведения ревизии и проверки тыловых контор и складов в черноморских портах был направлен герой русско-турецкой войны 1828—1829 Александр Иванович Казарский, который через короткое время после прибытия в Николаев внезапно скончался от отравления, дело о его смерти было замято.
Назначенный Николаем I членом Государственного совета, Грейг не оставался без дел: он стал основателем Пулковской обсерватории под Петербургом, возглавлял Вольное экономическое общество и Комиссию по вопросам кораблестроения. Как член Государственного Совета, адмирал Грейг выступал оппонентом Министра Финансов Канкрина, предложив свой собственный проект реформы денежной системы России..
Умер на 70-м году жизни и похоронен на Смоленском лютеранском кладбище в Петербурге.
Его женою была Юлия Михайловна Сталинская (27.01.1800—28.09.1881), дети: Алексей (род. ок. 1824), Самуил, Юлия (05.09.1829—11.03.1865), Иван (06.03.1831—15.09.1893), Василий (10.03.1832—1902), Сарра (1833—1834), Евгения (Дженни, 15.02.1835—16.02.1870).
В 1883 в Николаеве был поставлен памятник, выполненный по проекту М. О. Микешина известным скульптором А. М. Опекушиным. Памятник не сохранился.
В честь Грейга названы: