应用程序缓冲区和系统缓冲区有什么区别

Question

许多 MPI 教程中有一些术语含义模糊，例如“应用程序缓冲区”和“系统缓冲区”。我不明白它们之间的区别。我也想知道他们在哪里？我认为应用程序缓冲区是接收或发送节点内的内存。那么如果是，系统缓冲区是什么？

Answer 1

在 MPI 的上下文中，应用程序缓冲区（通常称为用户缓冲区）是保存要发送的信息或要接收信息的地方的缓冲区。应用程序缓冲区是传递给 MPI 通信调用的内容，例如

MPI_Send(buf, len, type, ...);
//       ^^^
//    app. buffer

一旦MPI_Send被调用，消息就会被构建，并根据各种标准通过互连发送，这可以是任何类型的连接机制，例如 InfiniBand、Internet 套接字、共享内存等，实际传输可能涉及许多中间步骤，或在内部缓冲以备后用。内部缓冲区（也称为系统缓冲区）是 MPI 运行时系统的一部分，由 MPI 运行时系统管理，对应用程序代码不可见。系统缓冲区不一定是在内核中或应用程序空间之外的其他地方分配的。相反，在许多 MPI 实现和互连中，这些缓冲区分配在程序地址空间中，并计入程序内存使用量。

还可以在MPI_Bsend调用或其非阻塞变体中使用显式分配的中间缓冲区MPI_Ibsend。它要求用户首先分配一个缓冲区，然后通过调用将其提供给 MPI 运行时MPI_Buffer_attach。从那一刻起，该缓冲区的内容由 MPI 运行时系统单独管理。

应用程序缓冲区和系统缓冲区之间的区别对于操作完成的概念很重要。当 MPI 不再需要访问应用程序缓冲区时，就认为 MPI 操作已完成。例如：

buf[] = some content;
MPI_Send(buf, len, ...);
// once MPI_Send returns, the buffer can be reused
buf[0] = 1;
MPI_Send(buf, 1, ...);

对于非阻塞调用，操作会在后台继续进行，并且必须注意不要在异步操作完成之前修改应用程序缓冲区：

MPI_Request req;
buf[] = some content;
MPI_Isend(buf, len, ...,  &req);
buf[0] = 1;                  // DATA RACE: buf might still be in use by
MPI_Send(buf, 1, ...);       // the operation initiated by MPI_Isend

buf在这种情况下的正确使用是这样的：

MPI_Request req;
buf[] = some content;
MPI_Isend(buf, len, ...,  &req);
// Do something that does not involve changing buf
// ...
// ...
// Make sure the operation is complete before continuing
MPI_Wait(&req, MPI_STATUS_IGNORE);
// buf is now free for reuse
buf[0] = 1;
MPI_Send(buf, 1, ...);