多机床本着moreutils“并行”的精神?

gsp*_*spr 4 cluster parallelism gnu-parallel

parallel来自moreutils是一个很好的工具,除其他外,它可以mnCPU 上均匀分布独立的任务。有人知道可以为多台机器完成相同任务的工具吗?这样的工具当然不必了解多台机器或网络或类似的概念——我只是在谈论将m任务分配到N 集群中,集群中的i N_i任务并行运行。

今天我使用我自己的 BASH 脚本来完成同样的事情,但是一个更精简和干净的工具会很棒。有人知道吗?

Ole*_*nge 7

GNU Parallel 做到了这一点以及更多(使用 ssh)。

它甚至可以处理混合速度的机器,因为它只有一个作业队列,这些作业在机器列表中启动(例如,每个 CPU 核心一个)。当一项工作完成时,另一项工作开始。

所以它不会在开始之前将作业分成集群,而是动态地进行。

观看介绍视频以了解更多信息:http : //pi.dk/1

  • 哇,出于某种原因,我一直在想“moreutils parallel == GNU parallel”,所以我把它写掉了。但不是!谢谢!你描述的正是我想要的。 (2认同)