Slurm：提交到多个节点时出错（“slurmstepd：错误：execve（）：python：没有这样的文件或目录”）

Question

我有一个 bash 脚本submit.sh，用于向 Slurm 服务器提交训练作业。其工作原理如下。正在做

bash submit.sh p1 8 config_file

将提交一些对应于config_file分区 8 个 GPU 的任务p1。每个节点p1有 4 个 GPU，因此该命令请求 2 个节点。

内容submit.sh可以概括如下，其中我使用sbatch提交了一个Slurm脚本（train.slurm）：

bash submit.sh p1 8 config_file

现在，在 Slurm 脚本中train.slurm，我决定是在一个还是多个节点上启动训练 Python 脚本（这两种情况下启动方式不同）：

#!/bin/bash
# submit.sh

PARTITION=$1
NGPUs=$2
CONFIG=$3

NGPUS_PER_NODE=4
NCPUS_PER_TASK=10

sbatch --partition ${PARTITION} \
    --job-name=${CONFIG} \
    --output=logs/${CONFIG}_%j.log \
    --ntasks=${NGPUs} \
    --ntasks-per-node=${NGPUS_PER_NODE} \
    --cpus-per-task=${NCPUS_PER_TASK} \
    --gres=gpu:${NGPUS_PER_NODE} \
    --hint=nomultithread \
    --time=10:00:00
    --export=CONFIG=${CONFIG},NGPUs=${NGPUs},NGPUS_PER_NODE=${NGPUS_PER_NODE} \
    train.slurm

现在，如果我在单个节点（例如bash submit.sh p1 4 config_file）上提交，它会按预期工作。但是，在多个节点（例如bash submit.sh p1 8 config_file）上提交会产生以下错误：

slurmstepd: error: execve(): python: No such file or directory

这意味着其中一个节点无法识别 Python 环境。我尝试替换python为$(which python)以获取虚拟环境中Python二进制文件的完整路径，但随后又出现了另一个错误：

OSError: libmpi_cxx.so.40: cannot open shared object file: No such file or directory

如果我不使用submit.sh，而是将所有#SBATCH变量添加到，并直接从命令行train.slurm提交作业，那么它就可以工作。sbatch因此，似乎是包装sbatch在 bash 脚本中导致了这个问题。

您能帮我解决这个问题吗？

预先非常感谢您。

Answer 1

请注意，该--export参数将导致环境被srun重置为所有SLURM_*变量加上显式设置的变量，因此在您的情况下CONFIG，，，NGPUs。NGPUS_PER_NODE因此，该PATH变量将不会被设置，也srun不会找到python可执行文件。

请注意，--export不会改变提交脚本的环境，因此不使用 的单节点情况srun确实运行良好。

尝试提交

--export=ALL,CONFIG=${CONFIG},NGPUs=${NGPUs},NGPUS_PER_NODE=${NGPUS_PER_NODE} \

请注意添加ALL为列表中的第一项。

另一种选择是简单地完全删除该--export行并在脚本中显式导出变量submit.sh，因为默认情况下 Slurm 会将提交环境传播到作业。

export PARTITION=$1
export NGPUs=$2
export CONFIG=$3

export NGPUS_PER_NODE=4
export NCPUS_PER_TASK=10