gsp*_*spr 4 cluster parallelism gnu-parallel
parallel来自moreutils是一个很好的工具,除其他外,它可以m在nCPU 上均匀分布独立的任务。有人知道可以为多台机器完成相同任务的工具吗?这样的工具当然不必了解多台机器或网络或类似的概念——我只是在谈论将m任务分配到N 集群中,集群中的i N_i任务并行运行。
parallel
m
n
N
i
N_i
今天我使用我自己的 BASH 脚本来完成同样的事情,但是一个更精简和干净的工具会很棒。有人知道吗?
Ole*_*nge 7
GNU Parallel 做到了这一点以及更多(使用 ssh)。
它甚至可以处理混合速度的机器,因为它只有一个作业队列,这些作业在机器列表中启动(例如,每个 CPU 核心一个)。当一项工作完成时,另一项工作开始。
所以它不会在开始之前将作业分成集群,而是动态地进行。
观看介绍视频以了解更多信息:http : //pi.dk/1
归档时间:
13 年,6 月 前
查看次数:
353 次
最近记录:
10 年,11 月 前