Иван Дмитриевич Бухольц родился в 1671 году.
В молодые годы Иван Дмитриевич состоял в потешном войске Петра I. С 1689 года (по другим данным — с 1697) он уже состоит на службе офицером Преображенского полка. Боевое крещение для него началось с Азовских походов, затем последовало участие в многолетней Северной войне и связанное с этим быстрое продвижение по службе.
22 мая 1714 года Бухольц, бывший тогда подполковником, получил Высочайший указ Петра I, который предписывал ему ехать в Тобольск, собирать там отряд и двигаться вверх по Иртышу к Ямыш-озеру. Там он должен был остановиться на зимовку, построить крепость, оставить в ней гарнизон, а затем продолжать путь дальше, к городу Еркету (Яркенду), где якобы имелись россыпи песочного золота.
27 июля 1715 года отряд Бухольца, снаряжённый губернатором Сибири князем Гагариным и состоявший почти из 3000 человек, с пушками и запасами, на 60 судах отправился вверх по Иртышу, по направлению к Ямышеву озеру, которого и достиг 1 октября. Здесь Бухольц приступил к постройке Ямышевской крепости. Но в связи с недовольством появления русских войск, джунгарский хунтайджи Цэван-Рабдан послал Бухольцу требование удалиться, а когда последний не послушался, то ночью 10 февраля 1716 года напал на крепость со своим 10-тысячным войском. Бухольц был вынужден уйти из крепости. Крепостные укрепления были разрушены, а остатки экспедиции направились вниз по Иртышу в Тобольск. Не доходя Тобольска, у устья реки Оми, Бухольц, с разрешения князя Гагарина, заложил Омскую крепость.
В 1724 году, после реабилитации, уже в чине полковника, Бухольц был снова направлен на службу в Сибирь, на китайскую границу. В 1726 году он, вместе с графом Рагузинским (Иллирийским), поехал в Китай. Граф Рагузинский возложил на Бухольца управление областями, пограничными с Китаем. Бухольц оправдал доверие Петра I и в Забайкалье, стал там «Главным пограничным управителем», заложил Кяхту и Троицкосавск, наладил регулярную торговлю с Китаем.
В 1727 году в устье реки Чикой построил Петропавловскую крепость.
В 1731 году он был произведен в бригадиры с назначением комендантом в Селенгинск. В должности селенгинского коменданта Бухольц пробыл до 1740 года. Высочайшим указом от 3 марта 1740 года Бухгольц был уволен в отставку в чине генерал-майора. Умер Иван Дмитриевич Бухольц в 1741 году, точное место смерти и погребения устроителя первой Омской крепости неизвестно.
Его именем в Омске названы улица и площадь перед речным вокзалом. На здании вокзала в 1987 году установлена мемориальная доска. В центре площади в 1997 году установлен памятный знак «Держава» (скульптор В. Трохимчук).