Родился 26 февраля (10 марта) 1908 годв в Павлограде (ныне Днепропетровской области Украины).
С 1927 года учился в ХПИ.
С 1930 года — в РККА. Член ВКП(б) с 1931 года.
В 1932 году окончил Военно-техническую академию им. Ф. Э. Дзержинского. В 1932-1937 годах — инженер, затем начальник конструкторского бюро научно-исследовательского отдела Военной академии механизации и моторизации РККА.
C 1937 — главный конструктор Кировского завода.
В 1941—1943 годах — заместитель наркома танковой промышленности СССР, главный конструктор Челябинского тракторного завода.
Возглавлял работы по созданию тяжёлых танков КВ-2, КВ-16, КВ-85, ИС-1. Котин является одним из создателей самого мощного танка 2-й мировой войны — ИС-2 со 122-миллиметровой пушкой. В период 1943-1944 гг. под руководством Котина на базе танков КВ-1С и ИС были созданы самоходные артиллерийские установки СУ-152, ИСУ-152, ИСУ-122. За годы войны на Челябинском тракторном заводе было выпущено 18 тысяч танков и самоходных установок.
В послевоенные годы Котин вернулся в Ленинград, где руководил разработкой тяжёлого танка ИС-4 (1947), плавающего танка ПТ-76 (1951), тяжёлого танка Т-10 (1953), плавающего бронетранспортёра БТР-50П (на базе танка ПТ-76), а также трелёвочного КТ-12 (1948) и колёсного К-700 (1963) тракторов и др.
С 1968 года — заместитель министра оборонной промышленности СССР.
Депутат ВС СССР (1946—1950, 1966—1970).
Ж. Я. Котин умер 21 октября 1979 года. Похоронен в Москве на Новодевичьем кладбище.