有人可以提出一个很好的方法来了解MPI的工作原理吗？

Question

有人可以提出一个很好的方法来了解MPI的工作原理吗？

Answer 1

如果您熟悉线程，那么您会将每个节点视为一个线程（在某种程度上）

您向节点发送一条消息（工作），它会执行一些工作，然后返回一些结果。

线程和 MPI 之间的类似行为：

它们都涉及对作品进行分区并单独处理。

当涉及更多节点/线程时，它们都会产生开销，与线程相比，MPI 开销更显着，如果工作没有仔细分区，在节点之间传递消息将导致显着的开销，您最终可能会得到传递消息的时间 > 所需的计算时间处理作业。

行为差异：

它们具有不同的内存模型，每个 MPI 节点不与其他节点共享内存，并且不了解世界其他地方的任何信息，除非您向其发送某些内容。