Джон Филип Голланд родился в Лисканноре (графство Клэр, Ирландия), в семье Джона Голланда и ирландки Мэйре Ни Сканнлайн (ирл. M?ire N? Scannl?in), английский язык он освоил только после того, как поступил в местную англоговорящую Национальную школу. В 1858 году вступил в орден Ирландских христианских братьев, в деревне Эннистимон. Затем Джон переехал в Лимерик, где начал работать учителем. В дальнейшем, он преподавал во множестве мест, в том числе в Северном монастыре, что в графстве Корк.
В 1873 году Джон Филип эмигрировал в США, где сперва устроился в инженерную компанию, однако спустя небольшое время продолжил работать учителем, на этот раз в католической школе в Патерсоне, Нью-Джерси. В 1875 году он построил свою первую маленькую подводную лодку, управляемую одним человеком с помощью ножного привода. Проект был предложен американскому флоту, но был признан неосуществимым, и изобретатель получил отказ.
В 1877 и 1879 годах им были построены новые лодки с бензиновым двигателем. В 1883 году учредил компанию Holland torpedo-boat company.
В течение многих лет Голланд продолжал работать над проектами подводных лодок, постепенно улучшая их. Наконец построенная им в 1897 году лодка после длительных проверок была куплена флотом США и в 1900 году вступила в строй под названием USS Holland (SS-1), став первой подводной лодкой американского флота. Лодка имела водоизмещение 100 тонн, 1 винт, бензиновый двигатель Отто Дейца на 160 лошадиных сил для надводного хода и электромотор в 70 л.с. для подводного хода, была вооружена одним торпедным аппаратом с тремя торпедами. Скорость надводного хода составляла 9 узлов, подводного — 7 узлов. Район плавания над водой — 200 миль, под водой — 30 миль. Запас воздуха позволял экипажу провести под водой 12 часов.
Кроме американского флота, лодки Голланда были приобретены флотами России, Англии, Японии, Нидерландов и Австро-Венгрии.
В последующие годы Голланд построил несколько более совершенных типов лодок, водоизмещением в 280, 400 и 500 тонн.
Умер в 1914 году.