使用 Apache Airflow 提交和监控 SLURM 作业

Question

我正在使用 Slurm 作业调度程序在集群上运行我的作业。使用 Apache Airflow 提交 Slurm 作业并检查其状态的最有效方法是什么？

我能够使用 SSHOperator 远程提交我的工作并每分钟检查一次他们的状态，直到完成，但我想知道是否有人知道更好的方法。下面是我写的SSHOperator。

sshHook = SSHHook(ssh_conn_id='my_conn_id',keepalive_interval=240)

task_ssh_bash = """
cd ~/projects &&
JID=$(sbatch myjob.sh)
echo $JID
sleep 10s # needed
ST="PENDING"
while [ "$ST" != "COMPLETED" ] ; do 
   ST=$(sacct -j ${JID##* } -o State | awk 'FNR == 3 {print $1}')
   sleep 1m
   if [ "$ST" == "FAILED" ]; then
      echo 'Job final status:' $ST, exiting...
      exit 122
   fi
echo $ST
"""

task_ssh = SSHOperator(
    task_id='test_ssh_operator',
    ssh_hook=sshHook,
    do_xcom_push=True,
    command=task_ssh_bash,
    dag=dag)

Answer 1

我无法给出一个可论证的例子，但我倾向于在pyslurm之类的东西之上实现气流传感器。有趣的是，我只是在查看是否有人已经这样做时才遇到你的问题！

编辑：还有一个关于使用执行器来提交作业的有趣主题

祝你好运