Apache Beam 是否支持迭代算法，就像 Apache Flink 一样？

Question

Apache Flink 支持迭代转换：https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/batch/iterations.html。

使用 Apache Beam 是否也支持这一点，或者我们可以使用 Beam 概念实现相同的目标吗？

Answer 1

我已将这个问题发布在Apache Beam 的用户邮件列表上。

对此有一个开放的票证（BEAM-106），但尚未开始。

有两种解决方案：

• 自己展开循环，这当然会限制迭代次数。请注意您创建的转换数量。这可能受到跑步者的限制。
• 创建多个管道并存储中间数据。这可以更轻松地进行调试，但会带来存储和加载数据的开销。