Родился в семье священника. Окончил Вологодскую духовную семинарию в 1893 году. Женился на Александре Аполлоновне, урожденной Углецкой, дочери сельского священника, скончавшейся в возрасте 25 лет. Вместе с ней умер маленький сын Михаил, остались трое малолетних детей: Алексей, Ольга и Анатолий. Отец Николай очень переживал эту трагедию: «В самую раннюю пору жизни меня постигло страшное испытание. Устроился я, снискал расположение своих прихожан, стал работать на духовное благо своей паствы, как разразилось над мной несчастье, настиг меня страшный удар».
С 15 сентября 1893 года — псаломщик Георгиевской церкви города Вологды, а 26 декабря того же года рукоположен в сан диакона к этой церкви с исполнением обязанностей псаломщика. Через год был перемещен в Вологодский Спасовсеградский собор.
С 14 сентября 1898 года — священник с оставлением на прежней вакансии псаломщика при том же соборе. С 7 сентября 1900 года — священник Вологодского кафедрального собора, с 1901 года — священник Екатерининской церкви города Вологды. Часто проповедовал, выступал с лекциями на Публичных религиозно-нравственных чтениях, занимался благотворительностью. Входил в число пайщиков Попечительства о бедных воспитанниках Вологодской духовной семинарии. Был возведён в сан протоиерея.
В 1923 года пострижен в монашество, с 21 октября 1923 года — епископ Вельский, викарий Вологодской епархии. Временно управлял Вологодской епархией. В 1925 году был арестован, за отказ от сотрудничества с обновленцами, содержался в Вологодской тюрьме, затем освобождён. Был «совершенно седым старцем с длинной бородой, с голубыми глазами».
В 1927 году подал прошение об уходе с Вельской кафедры и был уволен на покой. Служил в Екатерининском храме Вологды, после закрытия которого в 1930 году — в храме Воскресения Лазаря на Горбачевском кладбище. В 1931 году вновь арестован, отправлен по этапу. Скончался в Новосибирской тюрьме.
Юбилейный Архиерейский Собор в августе 2000 году причислил епископа Николая (Караулова) к лику новомучеников и исповедников Российских.