Родился в старинной аристократической прусской семье, его отец был помощником префекта города Кёльн. Учился в школе в Бреслау. После окончания учебы в университете, Рат в 1932 году поступил на службу в германский МИД и вступил в НСДАП. Работал в немецком посольстве в Бухаресте, а в 1935 году был переведен в Париж, где занимал должность третьего секретаря посольства.
7 ноября 1938 года Рат был застрелен пришедшим в посольство 17-летним евреем Гершелем Гриншпаном. Рат был тяжело ранен в живот. Гитлер отправил в Париж своего личного врача Карла Брандта, но спасти Эрнста фон Рата не удалось, и через два дня 9 ноября 1938 года в 17:30 он скончался.
Существуют две основных версии о мотивах убийства Рата. По одной версии, Гриншпан мстил за притеснения евреев в Германии, в частности, за высылку 12 тысяч польских евреев, среди которых была его семья.
По другой версии, Рат и Гриншпан были гомосексуалистами-любовниками и убийство произошло на почве личной ссоры. Гриншпан находился во Франции нелегально и Рат, будучи сотрудником посольства, обещал своему любовнику Гриншпану помочь с получением документов. Когда Рат не выполнил свое обещание, Гриншпан пришел в посольство и застрелил его.
Убийство Эрнста фон Рата стало поводом для начала Хрустальной ночи.