Tho*_*mas 4 python parallel-processing mapreduce amazon-ec2 parallel-python
听说科学计算项目(恰好是这里描述的随机纤维束成像方法)我目前正在为一名研究人员运行,我们的50个节点集群需要4个月,研究人员要求我检查其他选项.该项目目前正在使用并行python将4d数组的块分配到不同的集群节点,并将处理后的块重新组合在一起.
我目前正在处理的工作可能过于粗糙,(5秒到10分钟,我不得不在并行python中增加超时默认值)并且我估计通过重写它可以将进程加速2-4倍为了更好地利用资源(将数据拆分和重新组合在一起花费的时间太长,也应该并行化).大部分工作都是由numpy数组完成的.
我们假设2-4次是不够的,我决定从我们的本地硬件中获取代码.对于像这样的高吞吐量计算,我的商业选择是什么以及如何修改代码？
您可能对PiCloud感兴趣.我从未使用它,但他们的报价显然包括Enthought Python Distribution,它涵盖了标准的科学库.
很难说这是否适用于您的特定情况,但Parallel Python接口非常通用.所以希望不需要太多的改变.也许您甚至可以编写自定义调度程序类(实现与PP相同的接口).实际上这可能对很多人有用,所以也许你可以在PP论坛上获得一些支持.
| 归档时间： |
|
| 查看次数： |
1454 次 |
| 最近记录： |