Emp*_*nes 5 python grid open-source cluster-analysis
我想创建某种分布式设置,以便在生产环境中运行大量小型/简单的REST Web查询.对于从节点执行的每个5-10个相关查询,我将生成非常少量的派生数据,这些数据需要存储在标准关系数据库(例如PostgreSQL)中.
为这类问题集构建了哪些平台？性质,数据大小和数量似乎与Hadoop的思维方式相矛盾.还有更多基于网格的架构,例如Condor和Sun Grid Engine,我已经看过了.我不确定这些平台是否可以从错误中恢复(检查作业是否成功).
我真正想要的是一个FIFO类型的队列,我可以添加作业,最终结果是我的数据库得到了更新.
关于这项工作的最佳工具的任何建议？
| 归档时间： |
|
| 查看次数： |
134 次 |
| 最近记录： |