Анатолий Мариенгоф родился 24 июня 1897 года в Нижнем Новгороде в дворянской семье. Предки по отцовской линии — выходцы из Лифляндской губернии.
В 1913 году, после смерти жены, отец Мариенгофа с двумя детьми (у Анатолия была младшая сестра) переехал в Пензу.
После окончания гимназии в 1916 году мобилизован на фронт. Появляется первая пьеса в стихах «Жмурки Пьеретты».
В дни Октябрьской революции Мариенгоф возвращается в Пензу и с головой уходит в литературу: создает поэтический кружок, включивший соученика по гимназии поэта Ивана Старцева и художника Виталия Усенко, в 1918 году печатает первую книжку стихов — «Витрина сердца».
Летом белые чехословаки входят в город, и случайная пуля убивает отца.
Поэт уезжает в Москву. Поступает литературным секретарем в издательство ВЦИК, где знакомится с Бухариным. Вскоре происходит его встреча с Сергеем Есениным, имевшая существенное значение в судьбах обоих. Потом знакомится с В. Шершеневичем и Рюриком Ивневым. Так оформляется группа имажинистов, заявившая о себе «Декларацией», опубликованной в январе 1919 года в журнале «Сирена» (Воронеж).
Тесная дружба связывает Мариенгофа с Есениным. Их биографии словно бы переплетаются. Осенью 1919 года они поселяются вместе и на несколько лет становятся почти неразлучны. Вместе ездят по стране: летом 1919-го побывали в Петрограде, весной 1920-го в Харькове, летом в Ростове-на-Дону, на Кавказе. Публикуют в печати письма друг другу, чем вызывают негодование критиков.
В конце 1923 года Мариенгоф женился на артистке Камерного театра А. Б. Никритиной. Рождается сын Кирилл.
В 1924—1925 годах Мариенгоф работал заведующим сценарным отделом Пролеткино, вскоре также начал писать киносценарии. Всего их было создано около десяти.
В 1928 году в берлинском издательстве «Петрополис» вышел роман «Циники» (в СССР издан только в 1988 г., см. ниже раздел «Издания»). Публикация «Циников», равно как и следующего романа «Бритый человек», вышедшего в том же издательстве в 1930 году, принесла Мариенгофу массу неприятностей, и за который он был подвергнут в СССР травле. Это привело к тому, что 1 ноября 1929 года он направил письмо в правление МО Всероссийского союза советских писателей, где признал, что «появление за рубежом произведения, не разрешенного в СССР, недопустимо».
В вышедшем в 1932 году VI томе «Литературной энциклопедии» его творчество характеризуется как «один из продуктов распада буржуазного искусства после победы пролетарской революции». Характерно, что романы «Циники» и «Бритый человек» в статье не упомянуты.
Живет в Ленинграде, где супруга работает в Большом Драматическом театре. Сын покончил жизнь самоубийством перед войной.
В июне 1941 года приходит на Ленинградское радио и ежедневно пишет баллады (очерки в стихах), тут же звучавшие в выпусках «Радиохроники». Вскоре, вместе с Большим драматическим театром, Мариенгоф с женой были эвакуированы в Киров, где прожили около трёх лет. Возвращается в Ленинград.
В 1948 году написал пьесу в духе борьбы с космополитизмом «Суд жизни», но она не была принята к постановке.
В 1953—1956 годах написал ещё одну автобиографическую книгу «Мой век, моя молодость, мои друзья и подруги», где рассказал о детстве и юности, дополнил портрет Есенина. После смерти Мариенгофа была опубликована её сокращённая и приглаженная цензурой версия (под названием «Роман с друзьями»), а в полном виде книга вышла только в 1988 году (см. ниже раздел «Издания»).
Анатолий Мариенгоф умер 24 июня 1962 года (в день своего рождения по старому стилю) в Ленинграде. Похоронен на Богословском кладбище.
После революции Мариенгоф знакомится с Есениным. Есенин сводит его с другими молодыми поэтами, возникает новое направление в поэзии — имажинизм. Вместе они участвовали в выпуске четырёх номеров журнала «Гостиница для путешествующих в прекрасном» и ряда сборников «Имажинисты».
Иосиф Бродский написал о Мариенгофе, что тот был первым, кто применил «киноглаз» в русской литературе. Увлечение Бродского Мариенгофом упоминается также Сергеем Довлатовым в воспоминаниях: «Мариенгоф, автор книги „Циники“, которую Бродский со свойственной ему отчаянностью назвал лучшим русским романом, и знаменитых мемуаров „Роман без вранья“, описал этот процесс с редким знаньем дела».