如何在 slurm 中安装 python 包/模块

Question

这可能是一个非常基本的问题，但这是我第一次使用 slurm-cluster，我不想搞砸任何事情（管理员正在休假）。

我有一个使用“导入火炬”的 python 脚本。当我运行“sbatch myscript.sh”时，我得到输出“ImportError: No module named 'torch'”。我在节点内使用pip下载火炬包，但下载后我仍然收到importError。

我如何使我的进口工作？我应该从 github 下载包的源代码并将它们上传到我在 slurm 上的主目录吗？管理员给我的指南没有包含这个场景的信息，我错过了什么？

Answer 1

您应该在 bash 代码中导入所有这些包。这是一个例子：

#!/bin/bash
#SBATCH --account=def-someuser
#SBATCH --mem-per-cpu=1.5G      # increase as needed
#SBATCH --time=1:00:00

module load python/3.6
virtualenv --no-download $SLURM_TMPDIR/env
source $SLURM_TMPDIR/env/bin/activate
pip install --no-index --upgrade pip

pip install --no-index -r requirements.txt
python ...

您可以将所有依赖项放入需求文件中，然后将它们一次性安装到 virtualenv 中。欲了解更多信息，请查看此页面。