Родился в Юзовке в семье Евсея Ароновича Гегузина и Татьяны Палант. В 1941 г. закончил физико-математический факультет Харьковского университета. В годы войны работал в авиационной промышленности. Первые научные исследования посвящены прикладному металловедению и технологии литейного производства. С 1950 г. и до последних дней его жизнь неразрывно связана с Харьковским университетом. В 1964 г. основал кафедру физики кристаллов, ставшую ядром широко известной Харьковской школы кристаллофизиков. Увлечённость Я. Е. Гегузина наукой вместе с талантом физика привлекали к нему многих учеников и зрелых учёных.
Многое из сделанного Гегузиным навсегда вошло в историю науки, углубив и расширив понимание происходящего в реальных кристаллах. В его монографиях «Макроскопические дефекты в металлах», «Движение макроскопических включений в твёрдых телах» (совм. с М. А. Кривоглазом), «Физика спекания», «Диффузионные процессы на поверхности кристалла» (совм. с Ю. С. Кагановским) и «Диффузионная зона» излагаются новейшие достижения в физике реального кристалла, свидетелем и активным участником которых был сам автор.
Яков Евсеевич Гегузин замечательный популяризатор науки. Он написал целую серию научно-популярных книг: «Пузыри»(библиотечка «Квант»), «Капля», «Очерки о диффузии в кристаллах», «Живой кристалл», «Почему и как исчезает пустота» и другие. Эти книги написаны ярко и увлекательно и до сих пор составляют золотой фонд научно-популярной литературы.
В 1998 году в Харькове состоялся уже третий Международный семинар памяти Я. Е. Гегузина по процессам массопереноса в реальных кристаллах.