HPC 中什么是暂存空间/文件系统

Question

我正在研究 HPC 应用程序和并行文件系统。我遇到了术语暂存空间和暂存文件系统。

我无法想象这个暂存空间存在于哪里。它是作为挂载文件系统 /scratch 在计算节点上还是在主存储空间上。

其内容是什么。

暂存空间在每个计算节点上是否独立，或者两个或多个节点可以共享单个暂存空间。

假设我有一个文件 123.txt 我想并行处理。暂存空间将包含该文件的部分内容还是将复制整个文件。

我很困惑，谷歌上没有任何地方有明确的描述。请大家指点一下。

多谢。

Answer 1

这完全取决于集群的设置方式以及用户的需求。当您有权访问集群时，您还应该获得一些有关如何使用集群的信息，这应该可以回答您的大部分问题。

在我使用的其中一个集群上，NFS 用于长期存储，并且一些 Lustre 空间可用于作业暂存空间。所有节点都可以看到 NFS 和 Lustre。每个节点上还有一些只有该节点可以看到的暂存空间。

如果您希望作业并行处理 123.txt，您可以将 123.txt 复制到共享暂存空间 (Lustre)，也可以将其复制到作业文件中的每个节点暂存空间。

for i in `cat $PBS_NODEFILE | sort -u ` ; do scp 123.txt $i:/scratch ; done

一旦每个节点都有一个副本，您就可以运行您的作业。工作完成后，您需要将结果复制到持久存储，因为集群通常会运行脚本来清理暂存空间。