操作系统:Cent-OS
我有一些30,000工作(或脚本)要运行。每项工作需要 3-5 分钟。我有48 CPUs(nproc = 48)。我可以40 CPUs to run 40 Jobs并行使用。请建议一些脚本或工具可以通过并行运行每 40 个作业来处理 30,000 个作业。
30,000
48 CPUs(nproc = 48)
40 CPUs to run 40 Jobs
我做了什么:
我创建了 40 个不同的文件夹,并通过为每个目录创建 shell 脚本来并行执行作业。
我想知道下次有更好的方法来处理此类工作。
linux parallel-processing
linux ×1
parallel-processing ×1