Родился 15 (27) марта 1892(18920327) в с. Сивинь Старошайговского района Мордовии. Умер в декабре 1959 года в Куйбышеве.
Окончил Московский университет в 1918 году.
После окончания университета до 1938 года работал в Пензе — в школе, в педагогическом училище и в Пензенском институте народного образования (позже этот институт был преобразован в педагогический техникум).
В 1921 году стал изучать пензенские говоры. Опубликовал «Диалектологический атлас Пензенской губернии».
С 1938 года и до 1959 работал в Куйбышевском педагогическом институте, с 1944 по 1959 год — профессор этого института.
В 1938 году по совокупности работ А. Н. Гвоздеву без защиты диссертации была присвоена учёная степень кандидата филологических наук.
В 1943 году он защитил докторскую диссертацию «Формирование у детей грамматического строя русского языка» и получил степень доктора филологических наук.
В 1944 году Гвоздев получил звание профессора. В 1945 году был избран членом-корреспондентом Академии педагогических наук РСФСР.
Он стал одним из первопроходцев в области изучения онтогенеза языка (то есть усвоения родного языка ребёнком) и таким образом предшественником современной онтолингвистики. Гвоздев разработал теорию основных и второстепенных значений букв с учётом алфавитных значений букв и тех звуковых значений, которые появляются у буквы в тексте.
К 70-летию учёного посмертно была издана книга «Избранные работы по орфографии и фонетике» (М.: АПН РСФСР, 1963).
Основные работы А. Н. Гвоздева посвящены фонетике, фонологии, стилистике, графике, орфографии, морфонологии (правда, без использования этого термина), диалектологии, детской речи. Этим проблемам посвящены монографии «О фонологических средствах русского языка» (М., 1949), «Основы русской орфографии» (М.; Л., 1947, М., 1950, М., 1951, 1953, 1954), «Об основах русского правописания: В защиту морфологического принципа русской орфографии» (М., 1961).