См. статью: Слободско-Украинская губерния
18 января 1765 года указом Екатерины II была учреждена Слободско-Украинская губерния, а 6 июля дана инструкция губернатору и провинциальным канцеляриям, по которой слободские полки переименовывались в гусарские с сохранением им прежних их названий, полковые города — в провинциальные, а другие — в коммисарские и воеводские. Евдоким Щербинин гвардии секунд-майор назначен первым губернатором образовавшейся губернии.
Историк Д. Багалей пишет, что в харьковских церквях не было проповедей до тех пор, пока об этом не позаботился энергичный представитель администрации Щербинин. Харьковский губернатор писал епискому Самуилу в 1769 году::
Епископ Самуил поступил во всем согласно ходатайству губернатора начальства. Разделил Харьковскую протопопию на две — Харьковскую и Валковскую. Согласно требованию губернатора, велено было «учинить расположение для высокоторжественных дней, кому, когда, в каком порядке и сколько в год говорить проповедей» и присылать его ежегодно на утверждение преосвященному; для остальных же праздников назначать проповедников, с тем, чтобы он прочитывал и исправлял их до произнесения в церкви.
Щербинин, являясь должностным лицом (губернатором) и находясь на государственной службе («при власти»), являлся на подведомственной ему территории всего Харьковского наместничества самым крупным поставщиком («подрядчиком») «вина» (тогда так называлась водка) в непривелигированные города и селения — то есть населенные пункты, не имевшие привилегии винокурения от государства — возможности самим производить спиртное.
Так, с 1779 по 1783 год он поставлял ежегодно 1971 ведро (по 12,3 литра) водки в Чугуев и 625 ведер в Салтов, всего 2 596 вёдер в год, по цене 64 копейки за чугуевское ведро и 68 копеек — за салтовское. Таким образом, за данные 5 лет (1779—1783) Щербинин продал более 150 тысяч литров водки.
Кроме него, поставщиками водки во всём наместничестве были всего шестеро: майоры Дмитрий Шишов, Василий Лосев и Григорий Шидловский, войсковой товарищ Андрей Левченко, подпоручик Афанасий Ратицев и асессор Фёдор Шегаров.
В отправленном в столицу отчёте по Харьковскому наместничеству за 1781 год губернатора Щербинина, подписанном Щербининым, главным поставщиком водки на управляемой Щербининым территории является «генерал-порутчик и кавалер Щербинин» же.
Дочери:
Основная статья Памятник Щербинину (Харьков)
В Харькове 20 августа 2004 года слева от парадного входа в здание Харьковского областного совета на улице Сумской, 60, был установлен памятник первому харьковскому губернатору Е. Щербинину.