具有映射内存、统一虚拟寻址和统一内存的 GPU 内存超额认购

Question

我正在考虑在 GPU 上处理数据的可能性，这对于 GPU 内存来说太大了，我有几个问题。

如果我理解正确的话，使用映射内存，数据驻留在主内存中，并且仅在访问时才传输到 GPU，因此分配超出 GPU 内存的数据应该不成问题。

UVA与映射内存类似，但数据可以存储在CPU和GPU内存中。但是 GPU 是否有可能在充满自己的数据的情况下访问主内存（与映射内存一样）？这种情况下会不会发生内存溢出呢？我读到，使用映射内存，数据直接进入本地内存，而无需先传输到全局内存，在这种情况下，不应该有任何溢出。这是真的吗？如果是的话，UVA 也是如此吗？

在 CUDA 6.0 中，UM 不允许超额订阅 GPU 内存（并且通常不允许分配比 GPU 多的内存，即使在主内存中也是如此），但在 CUDA 8.0 中这成为可能（https://devblogs .nvidia.com/parallelforall/beyond-gpu-memory-limits-unified-memory-pascal/）。我做对了吗？

Answer 1

是的，使用映射（即固定、“零复制”）方法，数据保留在主机内存中并按需传输到 GPU，但永远不会驻留在 GPU 内存中（除非 GPU 代码将其存储在那里）。如果多次访问，则可能需要从主机多次传输。

UVA（统一虚拟寻址，请参阅此处）与 UM（统一内存，请参阅此处）或托管内存 (== UM)不同，因此我将这种情况称为 UM，而不是 UVA。

在 pre-pascal 设备上使用 UM 时，UM“托管”分配将在受到某些限制的情况下在 CPU 和 GPU 之间自动移动，但您不能超额订阅 GPU 内存。所有普通 GPU 分配加上 UM 分配的最大数量不能超过 GPU 物理内存。

使用 UM 加上 CUDA 8.0 或更高版本加上 Pascal 或更新的 GPU，您可以通过 UM（“托管”）分配超额订阅 GPU 内存。这些分配名义上限于系统内存的大小（减去系统内存上的任何其他要求）。在这种情况下，CUDA 运行时使用请求分页方法，在主机和设备内存之间自动来回移动数据。

UVA 并不是 CUDA 中的实际数据管理技术。它是一种底层技术，支持某些功能，例如映射内存的某些方面，并且通常支持 UM 功能。