如何在排水状态下"消除"slurm节点

Question

使用sinfo它显示3个节点处于drain状态,

PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
all*         up   infinite      3  drain node[10,11,12]

用于消除此类节点的命令行？

Answer 1

找到一种方法,输入scontrol解释器(在命令行类型中scontrol)然后

scontrol: update NodeName=node10 State=DOWN Reason="undraining"
scontrol: update NodeName=node10 State=RESUME

然后

scontrol: show node node10

显示其他信息

State=IDLE

更新:其中一些节点恢复了DRAIN状态; 注意到他们的根分区已经填满,例如show node a10显示Reason=SlurmdSpoolDir is full,因此在Ubuntu sudo apt-get clean中删除/var/cache/apt内容并且还压缩了一些/var/log文件.

Answer 2

如果将其设置为关闭,则所有作业都将被终止.

将节点设置为RESUME.

Answer 3

如果节点上当前没有作业在运行：

scontrol update nodename=node10 state=idle

如果作业正在节点上运行：

scontrol update nodename=node10 state=resume