带有 slurm 的 kubernetes，这是正确的设置吗？

Question

我看到有些人使用 Kubernetes 与 slurm 共存，我只是好奇你为什么需要 slurm 的 kubernetes？kubernetes 和 slurm 之间的主要区别是什么？

Answer 1

Slurm是用于大型和小型 Linux 集群的开源作业调度系统。它主要用作工作负载管理器/作业调度程序。主要用于 HPC（高性能计算），有时也用于大数据。

Kubernetes是 Docker 容器的编排系统，使用“标签”和“Pod”的概念将容器分组为逻辑单元。它主要是为了运行微服务而创建的，AFAIK 目前Kubernetes不支持 Slurm。

Slumr 作为 Job Scheduler 比 Kubernetes 有更多的调度选项，但 K8s 是容器编排系统，而不仅仅是 Job Scheduler。例如Kubernetes支持阵列作业并Slurm支持并行和阵列作业。如果您想深入了解日程安排，请查看这篇文章。

正如我之前提到的，Kubernetes 更侧重于容器编排，而 Slumr 侧重于作业/工作负载调度。我唯一想到的是，有人需要使用WLM-Operator + K8s + Slurm + Singularity 来执行 HPC/BigData 作业的非常个性化的定制集群。

通常世界上许多超级计算机都使用 Slurm Workload Manager 来优化并行计算机上任务分配的局部性。