私有云GPU虚拟化类似于Amazon Web Services Cluster GPU实例

Question

我正在寻找能够实现动态基于云的NVIDIA GPU虚拟化的选项,类似于AWS为集群GPU实例分配GPU的方式.

我的项目正在努力建立一个内部云.一个要求是能够将GPU分配给虚拟机/实例以进行服务器端CUDA处理.

USC似乎正在开发OpenStack增强功能来支持这一功能,但还没有准备好.如果它在OpenStack中完全正常运行,这正是我正在寻找的.

NVIDIA VGX似乎只支持向USM分配GPU ,这是严格的远程桌面GPU虚拟化.如果我错了,VGX确实从虚拟机/实例启用了服务器端CUDA计算,那么请告诉我.

Answer 1

“基于云的动态 NVIDIA GPU 虚拟化类似于 AWS 为集群 GPU 实例分配 GPU 的方式。”

AWS 并没有真正动态分配 GPU：每个 GPU 集群计算有 2 个固定的 GPU。所有其他服务器（包括常规集群计算）没有任何 GPU。也就是说，他们没有一个 API，您可以在其中说“是否使用 GPU”，它固定为使用固定硬件的盒子类型。

Xen 上的直通模式是专门为您的用例而设计的：将硬件从主机直通传递到来宾。默认情况下它不是“动态”的，但您可以编写一些代码来选择其中一位来宾来获取主机上的每张卡。