Окончил с золотой медалью феодосийскую гимназию. Познакомился в юности с Максимилианом Волошиным и дружил с ним многие годы. Учился на естественном и на историко-филологическом факультетах Московского университета, откуда дважды был уволен за участие в студенческих волнениях; изучал также естествознание в Берлинском университете. Окончил историко-филологический факультет Московского университета в 1906 г.; своими учителями считал Ф. Ф. Фортунатова и В. К. Поржезинского. Преподавал русский и латинский язык в московских гимназиях; неудовлетворённость уровнем преподавания русского языка заставила Пешковского обратиться к научным исследованиям и создать главную книгу своей жизни — многократно переиздававшуюся монографию «Русский синтаксис в научном освещении» (1-е изд. 1914, отмечено премией Академии наук; 3-е, радикально переработанное изд. 1928). После революции преподавал в Первом МГУ (с 1921) и других московских вузах. Написал также ряд статей по русской грамматике и несколько работ, посвящённых методике преподавания русского языка в школе, в том числе пособие «Наш язык» (1922—1927).
Ученик А. М. Пешковского по Поливановской гимназии В. Г. Шершеневич посвятил учителю раздел «Ломать грамматику» в своей программной книге «2 ? 2 = 5» (1920).
Книга «Русский синтаксис в научном освещении» занимает особое место в русистике: она написана не академическим учёным для узкого круга коллег, а преподавателем, обеспокоенным слабой «научной обеспеченностью» своего предмета, для широкого круга читателей (в том числе и для учащихся). Отсюда простой и ясный стиль изложения, особое внимание к подбору иллюстративного материала, темпераментные и почти публицистические интонации во многих местах книги. Эти качества обеспечили многолетний успех книги у разнообразной аудитории. Современные русисты также оценивают книгу Пешковского высоко: не найдя ответы на многие занимавшие его вопросы у академических коллег (главным образом, исследователей доминировавшей тогда консервативной школы Ф. И. Буслаева), Пешковский вынужден был во многих случаях выступать как первопроходец и сумел найти проницательные решения многих трудных проблем русского синтаксиса (пусть и сформулированные часто намеренно «бесхитростным» и «ненаучным» языком). На концепцию Пешковского в какой-то степени повлияли взгляды А. А. Шахматова; имеется определённая общность между концепцией Пешковского и возникшими несколько десятилетий спустя фундаментальными идеями Л. Теньера.
К основным идеям Пешковского принадлежит характерное и для последующей русской традиции представление о «семантичности» синтаксиса, то есть стремление выделить значения, выражаемые синтаксическими конструкциями, а не простое формальное описание этих конструкций. Пешковский вплотную подошёл к использованию «древесного» представления синтаксической структуры в виде дерева зависимостей; он один из первых широко пользовался лингвистическим экспериментом и «отрицательным» языковым материалом. Пешковский также может считаться одним из открывателей необычайно важной для русского языка области «малого синтаксиса» и идиоматичных синтаксических конструкций, глубокое исследование которой по существу началось только в последней трети XX века. Наконец, Пешковский — один из пионеров изучения русской интонации, как в книге, так и в ряде специальных статей (например, «Интонация и грамматика», 1928) доказывавший ее фундаментальную роль для описания русского синтаксиса.
Последнее издание работы Пешковского: