Java 8中的Streams:在集群上使用parallelstream()的简单解决方案？

Question

parallelstream() 提供跨单个机器核心的流的操作的无缝并行化.

如何扩展此逻辑以便将parallelstream()这些操作分发到群集的所有计算机？

理想情况下:
- 我使用框架创建一个机器集群？
- 启动myCollection.parallelstream().filter(something).collect()将作业分发到群集中所有计算机的所有核心,并将结果返回到引导群集的计算机.

Answer 1

Spark 似乎做了你想做的事，即在节点上分配工作。dsl 看起来类似于 java 8 流。您还可以查看 akka 流。使用 akka Streams 不允许您开箱即用地做您想做的事情，但它为您提供了一个工具箱来帮助您使用良好的 dsl。