Omi*_*mid 2 scala slurm apache-spark
如何在Slurm集群上运行Spark？我很感兴趣在我的程序中定义SparkContext并设置我想要使用多少节点,但如果我必须为它编写一些bash脚本,那也没关系.
Magpie(https://github.com/llnl/magpie)是一个shell脚本包,用于在传统HPC集群(例如由SLURM管理的集群)之上运行大数据应用程序(例如Spark).它为您管理排队作业的大部分复杂性,但您可能仍需要修改提交脚本以适合您自己的Spark应用程序 - submission-scripts/script-sbatch/magpie.sbatch-spark有关详细信息,请参阅该文件.
| 归档时间： |
|
| 查看次数： |
2234 次 |
| 最近记录： |