Привет!
У нас HP Proliant DL380p G8 и nVidia Quadro 4000, была такая же проблема.
Суть в том, что при загрузке ESXi каким-то образом захватывает первую доступную графическую карту в системе, после чего загружаемый следом модуль nvidia не может проинициализировать устройство, так как оно уже занято другим. В нашем случае помогло переключение настройки в BIOS с "Use External Video adapter first, Disable Embedded Video adapter" на "Use Embedded Video adapter first, Use External Video adapter optionally". В вашем случае должна быть похожая опция в BIOS.
