fod*_*don 0 mapreduce mpi disco
因此,问题是:1.对于以下问题,mapreduce开销是否过高？有没有人知道每个地图/减少周期(例如迪斯科)需要多长时间才能完成一项非常轻松的工作？2.对于这个问题,mapreduce有更好的替代方案吗？
在地图缩减术语中,我的程序由60个地图阶段和60个减少阶段组成,所有这些阶段需要在1秒内完成.我需要以这种方式解决的问题之一是使用大约64000个变量的最小搜索.用于搜索的粗糙矩阵是块矩阵,沿对角线的1000个块大小为64×64,并且在最右侧和底部具有一行块.最后一部分:块矩阵求逆算法显示了这是如何完成的.可以在一个mapreduce步骤中计算Schur补码S_A和S_D中的每一个.逆的计算又需要一步.
从我迄今为止的研究来看,mpi4py似乎是一个不错的选择.每个流程都可以执行计算步骤,并在每个步骤之后向客户端报告,客户端可以使用新的状态变量向后报告,以便继续循环.这样,过程状态不会丢失,计算可以通过任何更新继续进行. http://mpi4py.scipy.org/docs/usrman/index.html
这个wiki有一些建议,但有没有人对最发达的解决方案有一个方向:http: //wiki.python.org/moin/ParallelProcessing
谢谢 !
MPI是一种通信协议,允许通过在集群节点之间传递消息来实现并行处理.使用MPI实现的并行处理模型取决于程序员.
我没有任何MapReduce经验,但在我看来,它是一个特定的并行处理模型,设计简单,易于实现.这种抽象应该可以节省您的编程时间,可能会也可能不会为您的问题提供合适的解决方案.这一切都取决于你想要做的事情的性质.
并行处理的技巧是最合适的解决方案通常是特定于问题的,如果不了解有关您的问题的更多细节,则很难提出建议.
如果您可以告诉我们更多关于您正在开展工作的环境以及您的计划符合Flynn分类标准的地方,我可能会提供一些更有用的建议.
| 归档时间： |
|
| 查看次数： |
1507 次 |
| 最近记录： |