Представитель знатного шотландского рода Брюсов, младший брат Романа Вилимовича Брюса, первого обер-коменданта Санкт-Петербурга. Предки Я. Брюса с 1647 года жили в России.
Участвовал в Крымских (1687, 1689) и в Азовских (1695, 1696) походах Петра I, участвовал в становлении русской артиллерии во время Северной войны, за командование русской артиллерией в Полтавской битве 1709 года был удостоен ордена Андрея Первозванного.
В 1706 году в ведение Брюса была передана Московская гражданская типография. Самым известным ее изданием начала XVIII в. был так называемый «Брюсов календарь», вышедший в свет в 1709 году (в год Полтавской битвы).
В 1714 году обвинён в хищении казны и освобождён от наказания личным указанием Петра I. В 1716 году привлечён к составлению воинского артикула, а с 1717 года он назначен сенатором и президентом Берг- и Мануфактур-коллегий.
Участвовал в закладке Санкт-Петербурга 16 мая 1703 года. Подписал Ништадтский мир. В 1721 году Брюс получил титул графа Российской империи. 30 августа 1725 года награжден орденом Св. Александра Невского.
28 января (8 февраля) 1725) умер император Пётр I. Уже после его кончины, в 1726 году, стал генералом-фельдмаршалом и ушел в отставку, посвятив себя полностью научной деятельности. Он поселился в любимом своём поместье Глинки в сорока с небольшим верстах от Москвы (ныне в черте города Лосино-Петровский), при впадении реки Воря в Клязьму.
В 1732 году получил в собственность расположенные близ Москвы «село Перово с деревней Тетеревниковкою».
Брюс был одним из образованнейших людей России, естествоиспытателем и астрономом, и владел крупнейшей библиотекой, насчитывавшей около 1500 томов, почти исключительно научно-технического и справочного содержания. Он нигде не учился и всего добился самообразованием. Он составил: русско-голландский и голландско-русский словари, первый русский учебник по геометрии. В 1696 году им была составлена «Карта земель от Москвы до Малой Азии». А в 1702 открыл первую в России обсерваторию при Навигацкой школе (был ее директором) в Москве. Школа помещалась в Сухаревой башне, построенной в 1695 и сильно контрастировавшей с архитектурой патриархальной Москвы. Возможно, именно поэтому народная молва приписывала Брюсу славу чернокнижника и чародея.
Яков свободно владел шестью европейскими языками, а его «кабинет курьёзных вещей» был единственным в своём роде в России и после смерти Брюса влился в кунсткамеру Академии наук. Участвовал в издании справочно-астрологического «Брюсова календаря» (1709—1715). Вопреки распространённому мнению, Брюс не был ни автором, ни составителем этого знаменитого издания, его участие ограничилось общей цензурой. Бо?льшая часть текста календаря написана издателем Василием Киприяновым. Впоследствии в России было издано немало поддельных «Брюсовых календарей».
Яков Брюс скончался 19 апреля (30 апреля) 1735 и был похоронен в лютеранской церкви Святого Михаила в Немецкой слободе. Так как он был бездетен, почти всё его имущество перешло к племяннику — генерал-поручику Александру Романовичу Брюсу, сыну первого обер-коменданта Петербурга Роберта Брюса, крестнику Александра Меншикова. На месте его кончины (недалеко от станции Монино) находится Дом-музей Я. В. Брюса.