Snakemake slurm 输出文件重定向到新目录

Question

我正在整理一个 Snakemake slurm 工作流程，但我的工作目录因 slurm 输出文件变得混乱而遇到麻烦。我希望我的工作流程至少将这些文件定向到我的工作目录内的“slurm”目录。我目前的工作流程设置如下：

配置.yaml：

reads:
    1:
    2:
samples:
    15FL1-2: /datasets/work/AF_CROWN_RUST_WORK/2020-02-28_GWAS/data/15FL1-2
    15Fl1-4: /datasets/work/AF_CROWN_RUST_WORK/2020-02-28_GWAS/data/15Fl1-4

集群.yaml：

localrules: all

__default__:
    time: 0:5:0
    mem: 1G
    output: _{rule}_{wildcards.sample}_%A.slurm

fastqc_raw:
    job_name: sm_fastqc_raw
    time: 0:10:0
    mem: 1G
    output: slurm/_{rule}_{wildcards.sample}_{wildcards.read}_%A.slurm

蛇文件：

configfile: "config.yaml"
workdir: config["work"]

rule all:
    input:
        expand("analysis/fastqc_raw/{sample}_R{read}_fastqc.html", sample=config["samples"],read=config["reads"])

rule clean:
    shell:
        "rm -rf analysis logs"

rule fastqc_raw:
    input:
        'data/{sample}_R{read}.fastq.gz'
    output:
        'analysis/fastqc_raw/{sample}_R{read}_fastqc.html'
    log:
        err = 'logs/fastqc_raw/{sample}_R{read}.out',
        out = 'logs/fastqc_raw/{sample}_R{read}.err'
    shell:
        """
        fastqc {input} --noextract --outdir 'analysis/fastqc_raw' 2> {log.err} > {log.out}
        """

然后我打电话：

snakemake --jobs 4  --cluster-config cluster.yaml --cluster "sbatch --mem={cluster.mem} --time={cluster.time} --job-name={cluster.job_name} --output={cluster.output}"

这不起作用，因为该slurm目录尚不存在。我不想在运行蛇制作命令之前手动执行此操作，这对可扩展性不起作用。在阅读了每个相关问题后，我尝试过的事情是：

1）只是尝试通过规则内的日志捕获所有输出，并设置cluster.output='/dev/null'. 不起作用，未捕获 slurm 输出中的信息，因为它不是规则的准确输出，而是有关作业的信息

2) 通过添加虚拟日志强制创建目录：

    log:
        err = 'logs/fastqc_raw/{sample}_R{read}.out',
        out = 'logs/fastqc_raw/{sample}_R{read}.err'
        jobOut = 'slurm/out.err'

我认为这不起作用，因为 sbatch 在实施规则之前尝试找到 slurm 文件夹

3) 允许在工作目录中创建文件，并将 bash 代码添加到规则末尾以将文件移动到 slurm 目录中。我相信这不起作用，因为它尝试在作业完成写入 slurm 输出之前移动文件。

还有其他想法或技巧吗？

Answer 1

您应该能够通过调用来抑制这些sbatch输出--output=/dev/null --error=/dev/null。像这样的东西：

snakemake ... --cluster "sbatch --output=/dev/null --error=/dev/null ..."

如果您希望文件转到您选择的目录，您当然可以更改调用以反映这一点：

snakemake ... --cluster "sbatch --output=/home/Ensa/slurmout/%j.out --error=/home/Ensa/slurmout/%j.out ..."