使用 Python SDK 连接多个流

Question

我想在一个公共键上加入多个流，并在所有流贡献了至少一个元素后或在窗口末尾立即触发结果。CoGroupByKey 似乎是合适的构建块，但似乎没有办法表达早期触发条件（计数触发器适用于每个输入集合）？

Answer 1

我相信CoGroupByKey是Flatten + GroupByKey在幕后实施的。一旦多个流被扁平化为一个，数据驱动的触发器（或任何其他触发器）将没有足够的控制来实现您想要的。

CoGroupByKey您可以使用Flattenand来代替使用，它会填充每个键StatefulDoFn支持的对象。State同样在这种情况下，StatefulDoFn当流 A 有 2 个元素到达但流 B 还没有任何元素时，将有机会决定要做什么。