我目前正在编写一个CUDA应用程序,并且正在遇到一些IO问题"喂养野兽".
我想知道是否有任何方法可以直接从RAID控制器或NIC读取数据并将数据直接发送到GPU.我想要完成的内容直接显示在以下演示文稿的幻灯片#3中:http://developer.download.nvidia.com/devzone/devcenter/cuda/docs/GPUDirect_Technology_Overview.pdf.
话虽如此,显然这已经在这里得到了回答:是否可以直接从gpu访问硬盘？但是,我所附的演示文稿导致相信我所需要的只是在Linux中设置一个环境变量(但它没有提供任何有用的代码片段/示例).
因此,我想知道是否可以直接从NIC/RAID控制器读取数据到GPU中,以及需要做什么？我需要为硬件编写自己的驱动程序吗？是否有任何避免某些副本的例子？
在此先感谢您的帮助.
GPUDirect是一种技术"总称",通常是一种品牌,指的是能够直接向GPU和/或从GPU传输数据的技术,以某种方式绕过通过主机内存的不必要的跳闸.
GPUDirect v1是一种可与特定infiniband适配器配合使用的技术,可在GPU驱动程序和IB驱动程序之间共享数据缓冲区.这项技术大多被GPUDirect(v3)RDMA取代.此v1技术不支持任何NIC的一般使用.环境变量引用:
然而,我所附的演示文稿导致相信我所需要的只是在Linux中设置环境变量
是指启用GPUDirect v1.它不是通用NIC启用程序.
GPUDirect V2也被称为GPUDirect对等网络,并且它是在相同的PCIE织物2分CUDA的GPU之间的数据传送只.它不支持与任何其他类型设备的互操作性.
GPUDirect v3也称为GPUDirect RDMA.
因此,我想知道是否可以直接从NIC/RAID控制器读取数据到GPU中,以及需要做什么？
今天,GPUDirect RDMA的规范用例是使用Mellanox Infiniband(IB)适配器.(也可以使用Mellanox以太网适配器和RoCE,在Mellanox的帮助下工作.如果这符合您对"NIC"的定义,则可以通过加载适当的软件堆栈来实现,假设您有适当的硬件.GPU和IB设备需要位于同一PCIE结构上,这意味着它们需要连接到同一PCIE根联合体(实际上,连接到同一CPU插槽).当与Mellanox IB适配器一起使用时,典型用法将涉及GPUDirect RDMA感知MPI.
如果您有自己未指定的NIC或RAID控制器,并且您还没有GPUDirect RDMA Linux设备驱动程序,那么就无法使用GPUDirect.(如果有GPUDirect RDMA驱动程序,请联系制造商或驱动程序提供商寻求帮助.)如果您有权访问驱动程序源代码,并且熟悉编写自己的Linux设备驱动程序,则可以尝试制作自己的GPUDirect驱动程序.所涉及的步骤超出了我的答案的范围,但这里记录了起点.
我需要为硬件编写自己的驱动程序吗？
是的,如果您还没有GPUDirect RDMA驱动程序,则需要编写一个.
是否有任何避免某些副本的例子？
GPUDirect RDMA MPI 链接提供了示例并说明了GPUDirect RDMA如何在从GPU到IB适配器传输数据期间避免不必要的设备< - >主机数据副本.通常,数据可以直接(通过PCIE)从GPU设备上的内存传输到IB设备上的内存(反之亦然),而不会通过主机内存跳转(GPUDirect v1没有达到此目的).