相关疑难解决方法(0)

并行高效地运行多个作业

操作系统:Cent-OS

我有一些30,000工作(或脚本)要运行。每项工作需要 3-5 分钟。我有48 CPUs(nproc = 48)。我可以40 CPUs to run 40 Jobs并行使用。请建议一些脚本或工具可以通过并行运行每 40 个作业来处理 30,000 个作业。

我做了什么:

  • 我创建了 40 个不同的文件夹,并通过为每个目录创建 shell 脚本来并行执行作业。

  • 我想知道下次有更好的方法来处理此类工作。

linux parallel-processing

2
推荐指数
1
解决办法
1300
查看次数

标签 统计

linux ×1

parallel-processing ×1