分布式作业调度,管理和报告

Question

我最近玩过Hadoop,并对MapReduce作业的调度,管理和报告印象深刻.它似乎使新工作的分配和执行非常无缝,使开发人员能够专注于他们的工作实施.

我想知道Java域中是否存在任何不容易表示为MapReduce问题的作业的分布式执行？例如:

• 需要任务协调和同步的工作.例如,它们可能涉及顺序执行任务,但同时执行某些任务是可行的:

                 .-- B --.
          .--A --|       |--.
          |      '-- C --'  |
  Start --|                 |-- Done
          |                 |
          '--D -------------'
  

• 您希望分发的CPU密集型任务但不提供任何减少的输出 - 例如图像转换/调整大小.

那么是否有一个提供这种分布式计算环境的Java框架/平台？或者这种事情是否可以使用Hadoop接受/实现 - 如果有的话,这些工作的模式/指南是什么？

Answer 1

此后我发现Spring Batch和Spring Batch Integration似乎可以满足我的许多需求。我会让你知道我的进展如何。