使用支持CUDA的MPI的要求

Question

我想通过本文所述的支持CUDA的MPI在不同的CUDA设备之间交换数据。据我了解，以下代码应该可以完成这项工作：

#include <mpi.h>

int main( int argc, char *argv[] )
{
  int rank;
  float *ptr = NULL;
  const size_t elements = 32;
  MPI_Status status;

  MPI_Init( NULL, NULL );
  MPI_Comm_rank( MPI_COMM_WORLD, &rank );
  cudaMalloc( (void**)&ptr, elements * sizeof(float) );

  if( rank == 0 )
    MPI_Send( ptr, elements, MPI_FLOAT, 1, 0, MPI_COMM_WORLD );
  if( rank == 1 )
    MPI_Recv( ptr, elements, MPI_FLOAT, 0, 0, MPI_COMM_WORLD, &status );

  cudaFree( ptr );
  MPI_Finalize();

  return 0;
}

不幸的是，该程序在两个进程上执行时由于段错误而崩溃，并给出以下消息：

*** Process received signal ***
Signal: Segmentation fault (11)
Signal code: Address not mapped (1)
Failing at address: 0x210000
[ 0] /lib64/libc.so.6[0x39d94326a0]
[ 1] /lib64/libc.so.6(memcpy+0xd2)[0x39d9489742]
[ 2] /usr/lib64/openmpi/lib/libopen-pal.so.6(opal_convertor_pack+0x18e)[0x2b750326cb1e]
[ 3] /usr/lib64/openmpi/lib/openmpi/mca_btl_smcuda.so(mca_btl_smcuda_sendi+0x3dc)[0x2b7507c2252c]
[ 4] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(+0x890f)[0x2b75086ec90f]
[ 5] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(mca_pml_ob1_send+0x499)[0x2b75086ed939]
[ 6] /usr/lib64/openmpi/lib/libmpi.so.1(PMPI_Send+0x1dd)[0x2b7502d3ef8d]
[ 7] prog(main+0x98)[0x400d51]
[ 8] /lib64/libc.so.6(__libc_start_main+0xfd)[0x39d941ed5d]
[ 9] prog[0x400be9]
*** End of error message ***

我使用OpenMPI 1.8.2和nvcc 6.5；据我所知，这些版本应该支持此功能。

所以，我的问题是：我在做什么错？我想念点吗？我非常感谢有关如何获得最小工作示例的任何提示！

Answer 1

该段错误几乎可以肯定是由于当MPI需要主机指针时将设备指针传递给MPI。只有正确构建的支持CUDA的MPI才能接受设备指针。仅仅拥有OpenMPI 1.8.2是不够的。您必须具有使用CUDA感知设置显式构建的OpenMPI版本。

对于OpenMPI，

从这里开始

摘录：

34. 如何使用支持CUDA的支持构建Open MPI？

支持CUDA的支持意味着MPI库可以直接发送和接收GPU缓冲区。Open MPI 1.7系列和更高版本中存在此功能。该支持正在不断更新，因此不同版本中存在不同级别的支持。

配置Open MPI 1.7，MPI 1.7.1和1.7.2

--with-cuda(=DIR)       Build cuda support, optionally adding DIR/include,
                      DIR/lib, and DIR/lib64


--with-cuda-libdir=DIR  Search for cuda libraries in DIR

这是启用CUDA支持的configure命令的一些示例。

1. 在默认位置搜索。在/ usr / local / cuda / include中查找cuda.h，在/ usr / lib64中查找libcuda.so。

   ./configure --with-cuda
   

2. 在/usr/local/cuda-v4.0/cuda/include和libcuda.so的默认位置/ usr / lib64中搜索cuda.h。

   ./configure --with-cuda=/usr/local/cuda-v4.0/cuda
   

3. 在/usr/local/cuda-v4.0/cuda/include中搜索cuda.h，在/ usr / lib64中搜索libcuda.so。（与上一个相同）

   ./configure --with-cuda=/usr/local/cuda-v4.0/cuda --with-cuda-libdir=/usr/lib64
   

如果找不到cuda.h或libcuda.so文件，则配置将中止。

注意：Open MPI 1.7.2中存在一个错误，因此，如果使用--enable-static配置该库，则会出现错误。要解决此错误，请将以下内容添加到您的配置行并重新配置。这将禁用PML BFO的构建，无论如何它基本上是未使用的。此错误已在Open MPI 1.7.3中修复。

--enable-mca-no-build=pml-bfo

配置Open MPI 1.7.3和更高版本

使用Open MPI 1.7.3和更高版本时，libcuda.so库会动态加载，因此无需在配置时指定指向它的路径。因此，您只需要cuda.h头文件的路径。

1. 在默认位置搜索。在/ usr / local / cuda / include中查找cuda.h。

   ./configure --with-cuda
   

2. 在/usr/local/cuda-v5.0/cuda/include中搜索cuda.h。

   ./configure --with-cuda=/usr/local/cuda-v5.0/cuda
   

请注意，您不能使用进行配置，--disable-dlopen因为这将破坏Open MPI库动态加载libcuda.so的功能。

看到

该常见问题解答条目提供了有关如何使用CUDA支持的详细信息。

请注意，这些说明假定您熟悉构建OpenMPI。仅仅运行./configure ... 是不够的。此后还有make和make安装步骤。但是，以上配置命令是区别支持CUDA的OpenMPI构建与普通构建的。

Answer 2

我将在一个简洁的答案中总结讨论。代码是正确的，但可能会出现以下问题：

1. MPI 尚未在CUDA 支持下构建（请参阅@Robert Crovella 的回答）。这可以通过调用来检查：

   ompi_info --parsable -l 9 --all | grep mpi_built_with_cuda_support:value

   如果一切正常，应该给出：

   mca:mpi:base:param:mpi_built_with_cuda_support:value:true

2. GPU的架构不支持该功能。需要费米或更高版本（见@Christian Sarofeen 的评论）

结果证明第二个问题适用于我的情况。