小编Kei*_*ben的帖子

在GCD上运行的PubsubIO的水印启发式是什么?

嗨,我正在尝试运行一个管道,我正在计算发布到pubsub的消息与30秒心跳*之间的差异*(10K流,每个心跳每30秒).我不关心100%的数据完整性,但我想了解PubsubIO的水印启发式(以及我是否可以调整它),以确定我是否能够以足够低的损失忽略后期数据.

*注意,pubsub主题提供了[可能需要几天]持久性,以防我们不得不取消管道,因此启发式工作与积压订阅很有效.

有人可以解释如何计算水印(假设使用了timestamplabel()),以及如何调整水印(如果有的话)?

google-cloud-dataflow

11
推荐指数
1
解决办法
2225
查看次数

标签 统计

google-cloud-dataflow ×1