Dataflow/Apache Beam 在哪个阶段确认发布/订阅消息？

Question

我有一个数据流流作业，将 Pub/Sub 订阅作为无限源。我想知道数据流在哪个阶段确认传入的发布/订阅消息。在我看来，如果在数据流管道的任何阶段抛出异常，消息就会丢失。

此外，我想知道如何使用发布/订阅无界源编写数据流管道以在失败时进行消息检索的最佳实践。谢谢！

Answer 1

在捆绑包成功并且捆绑包的结果（输出和状态更改等）已持久提交后，数据流流运行器确认捆绑包收到的 pubsub 消息。失败的包会重试直到成功，并且不会导致数据丢失。如果您认为可能会发生数据丢失，请提供详细信息（作业 ID 和导致您得出数据因故障丢失而得出的结论），我们将进行调查。