Родился 5 февраля 1845 года в семье Николая Сергеевича Виноградова (1818—1880) — священника села Чамерово Весьегонского уезда (1841—1870), а после Богоявленского собора города Весьегонска (1871—1880) Тверской губернии. Два младших брата: Константин — будущий патологоанатом, и Николай — будущий чиновник. Мать Анна Матвеевна умерла в 1849 году.
После домашнего воспитания окончил в 1859—1865 годах курс в Петербургской духовной семинарии. Оставлен преподавать в ней живопись и рисование, был помощником наблюдателя иконографии Ф. Г. Солнцева. В 1867—1868 годах учился в Петербургской духовной академии.
С 1868 по 1874 год преподавал живопись и рисование в Ярославской духовной семинарии. За 1871—1874 годы закончил со званием кандидата юридических наук ярославский Демидовский юридический лицей. В 1874—1879 годах был аудитором, в том числе в 1875—1876 годах в 5-м Киевском гренадерском полку. С 1878 по 1881 год был слушателем Археологического института в Санкт-Петербурге.
10 мая 1880 года «добровольно принял на себя крест монашества» под именем иеромонаха Алексия. Около десяти лет пробыл в Китае, являясь членом 16-й и 17-й духовных миссий (в 1881—1888 и 1895—1897; между ними был в Киево-Печерской лавре и его подворье в Санкт-Петербурге). Занимался в Пекине иконописью, создал там «походную церковь».
Из-за тяжёлой психической болезни покинул Китай и в 1898 году по решению Синода был отправлен в Оптину пустынь, где прожил до конца жизни. Готовил к печати собранные в Китае материалы, но ни одна из его работ не была напечатана. Занимался благотворительной деятельности, особенно в пользу Красного Креста. В 1904 году пытался покинуть монастырь, но его прошение о снятии сана и расстрижении отклонил Синод.
Умер от голода в 1919 году. Место захоронения неизвестно. Его рукописи и материалы личного архива хранятся в ОР РГБ.
Научные интересы Виноградова составляли этнография, палеография, археология, живопись, история и библеистика. Исследовал памятники старины в Тверской, Новгородской, Ярославской и др. губерниях. Собирал в Тверской губернии материалы по этнографии карел и русских.
После пострижения занимался китаеведением. Значителен вклад в изучение переводов христианской литературы на восточные языки.
Был избран членом-сотрудником Императорского Археологического общества (1876), членом Географического общества (1877), корреспондентом Общества поощрения художеств в Санкт-Петербурге (1884), почётным вольным общником Академии художеств (1889, за передачу в дар Академии ценной коллекции видов и чертежей памятников древнерусского зодчества).