О ранних годах жизни Сайто Хадзимэ известно очень мало. Он родился в городе Эдо провинции Мусаси (современный Токио), и при рождении получил имя Ямагути Хадзимэ (яп. ?? ?). Отцом его был Ямагути Ю?сукэ (яп. ?? ??), асигару княжества Акаси, купивший титул гокэнина (мелкого дворянина, служившего непосредственно сёгунам Токугава). У Хадзимэ был старший брат по имени Хироаки и старшая сестра, которую звали Кацу. Согласно опубликованным записям о семье Сайто, он покинул Эдо в 1862 году, после того, как по неосторожности убил хатамото (высокопоставленного сёгунского вассала). Сайто отправился в Киото, где преподавал кэндзюцу (фехтование) в додзё некого Ёсиды, хорошо знакомого с отцом Сайто.
Сайто был знаком с будущим командиром Синсэнгуми Кондо Исами и часто посещал его додзё Сиэйкан, находившееся в сельской местности неподалёку от Эдо. В Киото Сайто вошёл в число 13-ти человек, сформировавших Росигуми — прообраз Синсэнгуми. Став членом отряда, Сайто получил должность помощника заместителя командира (яп. ???? фукутё: дзёкин); в его обязанности также входило преподавание кэндзюцу. В конце 1864 года, после некоторых преобразований в должностях командного состава, Сайто стал командиром четвёртого подразделения. Однако уже в апреле 1865 года, после того, как Синсэнгуми перебазировались в монастырь Нисихонган-дзи, Сайто стал командовать третьим подразделением. Существует мнение, что он наблюдал за деятельностью разведчиков отряда и действиями врагов, а также выполнял обязанности шпиона внутри Синсэнгуми. Это мнение основывается, в частности, на слухах о том, что он лично убил нескольких членов Синсэнгуми, заподозренных в связях со сторонниками реставрации Мэйдзи, например, Такэду Канрюсая и Тани Сандзюро. В качестве ещё одного примера, доказывающего, что Сайто выполнял шпионские функции, обычно приводится тот факт, что он присоединился к группе офицера Ито Каситаро, отколовшейся от отряда в 1867 году, якобы для того, чтобы следить за их действиями. Тем не менее, достоверные данные о его причастности к смерти Такэды и Тани отсутствуют, неясна и его роль в группе Ито, так что некоторые историки оспаривают его шпионскую деятельность.
В 1867 году вместе с остальными членами Синсэнгуми Сайто получил статус хатамото. Через год, после начала гражданской войны Босин (1868—1869), Сайто в составе отряда принял участие в сражениях при Тоба — Фусими и Косю — Кацунуме, после чего отступил к княжеству Айдзу вместе с выжившими в боях членами Синсэнгуми. Хидзиката Тосидзо, командовавший этой уцелевшей частью отряда, был ранен в битве при замке Уцуномия, и командиром стал Сайто; это произошло около 26 мая 1868 года, причём Сайто командовал отрядом под именем Ямагути Дзиро (яп. ?? ??), которым пользовался с конца 1867 года. После боя за перевал Бонари, который в результате был сдан, Хидзиката решил отступить и от Айдзу. Сайто, однако, не согласился с этим решением, остался и продолжал участвовать в боях вместе с армией княжества до самой битвы при Айдзу. Это расхождение между Сайто и Хидзикатой было описано в дневнике одного из самураев княжества Кувана, причём одной из ключевых фигур инцидента был назван Отори Кэ?йсукэ, которого Хидзиката попросил принять командование отрядом; таким образом, Хидзиката не был непосредственным участником конфликта. Тем не менее, непосредственные причины и роли всех участников в конфликте остаются не вполне ясными, особенно учитывая противоречивые даты.
Вместе с несколькими соратниками из Синсэнгуми, оставшимися с ним, Сайто сражался против правительственных войск при Нёрай-до, маленьком храме, расположенном около замка Айдзувакамацу. Силы империалистов сильно превосходили по численности войско Айдзу; после этой битвы Сайто некоторое время считался погибшим, однако ему удалось отступить обратно к основным силам Айдзу, после чего он присоединился к армии княжества в качестве члена отряда под названием Сюдзякутай (Судзакутай). Позже, когда пал замок Айдзувакамацу, Сайто был взят в плен и вместе с группой бывших самураев из Айдзу отправлен на юго-запад, в княжество Такада, находившееся в провинции Этиго. В списке пленных, отправленных в Такаду, Сайто числился под именем Итиносэ Дэмпати.
Сайто, уже под именем Фудзита Горо (яп. ?? ??), направился в Тонами, новое княжество рода Мацудайра, ранее владевшего Айдзу. Он поселился вместе с Курасавой Хэйдзиэмоном, бывшим каро (советником правителя) из Айдзу, который был давним другом Сайто. Курасава занимался переселением самураев из Айдзу в Тонами и постройкой жилищ в этой местности, особенно в деревне Гонохэ (современная префектура Аомори). В Тонами Сайто познакомился со своей первой женой Синодой Ясо. Она происходила из богатой семьи бывших самураев Айдзу, к которой, в частности, относился Синода Гисабуро, командир Бяккотая — отряда молодых самураев, защищавших замок Айдзу во время войны Босин. Сайто и Ясо познакомились благодаря Курасаве, который посодействовал их свадьбе, состоявшейся 25 августа 1871 года, и предоставил им возможность пожить в своём доме. Предполагается, что приблизительно в это время у Сайто появились связи с японской полицией. 10 февраля 1873 года Сайто и Ясо перебрались из дома Курасавы в дом Уэды Ситиро, знакомого Курасавы; год спустя, 10 июня 1874 года Сайто покинул Тонами и отправился в Токио, а Ясо перебралась обратно к Курасаве. В записях семьи Курасава последняя запись о Ясо датируется 1876 годом; больше о ней ничего не известно. Сайто же примерно в это время начал работать в токийской полиции.
В 1874 году Сайто женился на Такаги Токио (яп. ?? ??), дочери Такаги Кодзюро, ещё одного самурая из Айдзу. Настоящее имя её было Сада, и она некоторое время состояла во фрейлинах при Мацудайре Тэру, приёмной сестре Мацудайры Катамори, бывшего главы Айдзу. Предполагается, что этому браку содействовали бывшие каро Айдзу Ямакава Хироси и Сагава Камбэй, а также и сам Мацудайра Катамори. У Сайто и Токио было трое сыновей: Цутому (?, 1876—1956), Цуёси (?, 1879—1946) и Тацуо (??, 1886—1945). Последний был усыновлён семьёй Нумадзава, родственниками Токио по материнской линии (ещё одна семья каро из Айдзу), чей род был практически уничтожен во время войны Босин. У первого сына, Цутому, и его жены Нисино Мидори родилось семеро детей; род Фудзита (Сайто) продолжается и до настоящего времени (2000-е годы), его представители — Таро и Наоко Фудзита, дети второго сына Цутому по имени Макото.
В 1877 году Сайто на стороне правительства Мэйдзи боролся с сацумским восстанием Сайго Такамори (известно также как война Сэйнан) в качестве члена полицейских сил, направленных на подмогу Императорской армии Японии.
В течение жизни Сайто рассказывал о своей службе в Синсэнгуми нескольким друзьям, в частности, уроженцам Айдзу Ямакаве Кэндзиро и Такаминэ Хидэо, чьи дома он часто посещал. Однако в отличие от Нагакуры Симпати, командира второго подразделения, тоже пережившего войну Босин, Сайто свои истории не записывал и никак не документировал. Не существует и достоверных изображений Сайто: в данной статье помещён участок коллективной фотографии служащих полиции, на которой предположительно находился и Сайто, найденный на ней методом исключения.
В более поздние годы Сайто помог Нагакуре и Мацумото Рёдзюну, личному врачу последнего сёгуна Токугавы Ёсинобу, воздвигнуть памятник командирам Синсэнгуми Кондо Исами и Хидзикате Тосидзо. Со временем Сайто оставил работу в полиции и устроился охранником в женский университет Отяномидзу, а позже работал в Токийском образовательном университете (яп. ); эти места он получил благодаря своей дружбе с Такаминэ Хидэо.
В течение жизни Сайто много пил, и считается, что это послужило одной из причин его смерти от язвы желудка. Он умер в 1915 году у себя дома в возрасте 71 года, сидя в традиционной японской позе сэйдза.
Сайто упоминается во многих японских произведениях массовой культуры, посвящённых Синсэнгуми.