SLURM / Sbatch创建许多小的输出文件

Question

我在SLURM群集上运行管道，由于某种原因，许多较小的文件（大小在500到2000字节之间）沿slurm-XXXXXX.out（其中XXXXXX是数字）的行命名。我试图在SLURM网站上找到这些文件的内容，但找不到任何提及。我假设它们是系统在解析管道时使用的某种正在进行中的文件？

如果重要的话，我正在运行的管道正在使用snakemake。我知道我以前曾经见过这些类型的文件，但是没有snakemake，但那时我还没什么大问题。恐怕在工作流程的每一步之后清除这些文件的工作目录都会中断正在进行的步骤，因此我目前不对其进行任何处理。

这些文件是什么？如何抑制它们的输出，或者在对应的作业完成后将其删除？我是否以某种方式弄乱了我的工作流程，所以才创建它们？

Answer 1

您可能想看看sbatch文档。您所指的文件实质上是SLURM日志，如下面所述：

默认情况下，标准输出和标准错误都定向到名称为“ slurm-％j.out”的文件，其中“％j”被替换为作业分配号。

您可以使用--error=<filename pattern>和--output=<filename pattern>命令行选项更改文件名。filename_pattern可以具有一个或多个符号，这些符号将按照文档中的说明进行替换。根据FAQ，您应该能够通过使用以下命令行选项来抑制标准输出和标准错误：

sbatch --output=/dev/null --error=/dev/null [...]