Рябушкин родился 29 октября 1861 года в селе Станичная слобода Тамбовской губернии. Его отец и старший брат занимались иконописью, и он помогал им в работе. В четырнадцать лет Рябушкин осиротел. Случайно его способности заметил гостивший в селе студент Московского училища живописи, ваяния и зодчества А. Х. Преображенский. Он увез юного Рябушкина в Москву, определил его в училище.
Училище Рябушкин не закончил, уехал в Петербург, где поступил в 1882 году в Академию художеств. Во время обучения, в частности в натурном классе П. П. Чистякова, он раскрыл себя как индивидуального, смелого художника.
Его дипломной работой стало произведение на религиозную тему — «Снятие с креста» (1890 г). В ходе своих путешествий по России Рябушкин серьёзно увлекся русской историей и народным эпосом.
В 1890-х годах художник писал различные заказные работы, рисунки и акварели для разного рода изданий и альбомов, эскизы композиций для предполагавшейся росписи Софийского собора в Новгороде. Его крупной исторической картиной в этот период стала «Московская улица XVII века» (1896 г).
Значительная роль в произведениях художника посвящена русскому пейзажу. В декоративном решении полотна Рябушкин идёт от традиции русской иконописи и фресковых росписей. В 1901 году им была написана одна из лучших картин художника «Свадебный поезд в Москве». На ней изображена Москва XVII века. В 1913 году картина была продана коллекционером С. А. Щербатовым Третьяковской галерее.
В последние годы жизни Рябушкин увлекается созданием иллюстраций к русским былинам и к деревенским темам. В это время им написаны картины: «За водой» (1898), «В деревне» (1902), «Втёрся парень в хоровод…» (1902), «В деревне. К обедне» (1903).
Скончался художник в имении своего родственника И. Ф. Тюменева усадьбе Дидвино Санкт-Петербургской губернии. Прах перезахоронен в 1949 году на Любанском кладбище, на могиле поставлен памятник.