相关疑难解决方法(0)

Dataflow何时从PubSubIO确认批处理项目的消息?

关于这个主题存在一个问题,答案是"一旦消息在Dataflow管道中的某个地方持久存在,就会得到确认."

从概念上讲,这是有道理的,但我不确定Dataflow如何能够在消息被持久化之前在管道中进行反序列化和转换后跟踪消息.

在我们的示例中,PubSub消息包含一批项目.收到并反序列化消息后,我们分解了批处理以进行处理.最终,批处理中的项目可能会被丢弃或提交到数据存储区,具体取决于其时间戳.

在这种情况下,确认如何工作?

google-cloud-dataflow

6
推荐指数
1
解决办法
1231
查看次数

标签 统计

google-cloud-dataflow ×1