Сведения о жизни Иоанна скудны, неизвестно как и когда он пришёл в Ростов. Проживал в доме священника Всехсвятской церкви, духовно окормлял горожан в том числе и преподобного Иринарха Ростовского.
Умер в Ростове 3 сентября 1581 года. Своё прозвание «милостивый» получил от исцелений, которые по мнению верующих, происходили от его мощей, а также в память святого Иоанна Милостивого, Патриарха Александрийского, чьё имя носил ростовский святой.
Мощи святого находятся в Ростове в церкви в честь Толгской иконы Божией Матери, рядом с ракой находятся псалтырь и кипарисовый крест, принадлежавшие преподобному.