Хиросигэ родился на берегу реки Яйсу в городе Эдо (прежнее название Токио), предположительно в 1797 году. Его настоящие имя Андо Токутаро. Отец будущего художника, Андо Генэмон, был родовым придворным сёгуна. В юном возрасте Хиросигэ потерял, почти одновременно, и отца и мать. Смерть отца означала, что тринадцатилетний мальчик получил должность и обязанности начальника пожарной службы замка Идо. Хиросигэ служил на этом посту до 27-летнего возраста. Служба не требовала особого труда и позволяла юноше уделять многие часы рисованию. Изобразительным искусством Хиросигэ, предположительно, начал заниматься после того, как увидел работы Хокусая.
Самой ранней работой художника считается Процессия островитян Лечю (1836).
Хиросигэ умер в 1858 году в Эдо, во время эпидемии холеры.
Творчество Хиросигэ редко выходило за рамки классических тем укиё-э, но выразительность и мастерство созданных им картин прославили художника на всю Японию. Особую известность получили циклы пейзажей.
В честь Хиросигэ назван кратер на Меркурии.
Работы Хиросигэ, особенно его серии 53 станции дороги Токайдо (1833—1834) и 100 видов Эдо (1856—1858) оказали большое влияние на французских импрессионистов, в частности, на Моне и Билибина. Ван Гог сделал копии двух картин из цикла 100 известных видов Эдо.