Родился в 1885 или 1886 году в с. Пиявочное Озеро, Арзамасский уезд, Нижегородская губерния, в старообрядческой семье Михаила Степановича и Евдокии Афанасьевны Моржаковых. Шести лет от роду лишился отца. С 11 лет воспитывался при старообрядческом монастыре близ д. Елесино Нижегородской губернии, находясь в послушании у епископа Нижегородского Кирила и епископа Уральского Арсения (Швецова), живших при монастыре. При монастыре изучил церковное пение и устав. В 1909 году епископ Нижегородский Иннокентий рукоположил его в диакона к храму в с. Василево (ныне г. Чкаловск Нижегородской обл.).
В 1916 году владыка Иннокентий поставил его иереем и определил настоятелем Успенского кафедрального собора в Нижнем Новгороде. В 1924 году умерла его жена Пелагия, оставив ему семерых детей. Вскоре о. Иоанн был арестован и 10 лет провел в тюрьмах и лагерях. Выйдя на свободу, он еще около 10 лет скрывался, проживая на домах у старообрядцев и нигде подолгу не останавливаясь. В 1945 году протоиерей Иоанн принял иноческий постриг с именем Иосиф и был хиротонисан во епископа Кишиневского и Одесского, а также временно Черновицкого и Измаильского. Иноческий постриг и хиротонию совершили на Рогожском кладбище архиепископ Московский и всея Руси Иринарх (Парфенов) и епископ Геронтий (Лакомкин).
В 1953 году на Освященном соборе епископу Иосифу было предложено первосвятительское служение, но он по смирению отказался в пользу епископа Флавиана (Слесарева). Епископ Иосиф был избран заместителем (наместником) Архиепископа Московского и Всея Руси. После смерти архиепископа Флавиана (Слесарева) он избирается на московский престол. 19 февраля 1961 года в Покровской церкви на Рогожском кладбище епископы Клинцовский и Новозыбковский Вениамин (Теодорович), Киевский и Винницкий Иринарх (Вологжанин), Волго-Донской и Кавказский Александр (Чунин) совершили возведение его в сан архиепископа.
Скончался 3 ноября 1970 и погребен на Рогожском кладбище. Погребение совершил 9 ноября 1970 года в Покровском соборе на Рогожском кладбище епископ Кишиневский Никодим (Латышев) в сослужении с епископами Иринархом Киевским, Винницким и Одесским и Иоасафом Клинцовско-Новозыбковским.