小编Sun*_*nil的帖子

后期数据处理 | 阿帕奇梁

已经错过了窗口和晚期数据.withAllowedLateness周期从管道作为记录下车这里

我对这种行为有几个问题:

  1. 如何处理从管道中丢失的后期数据?我们可以添加默认行为吗?说所有迟到的数据都应该记录在像包罗万象的桶之类的地方?
  2. 我们能否有一个指标(Google Dataflow Metrics/Beam)来说明这些消息中有多少由于巨大的延迟而从管道中丢失?

apache-beam

2
推荐指数
1
解决办法
552
查看次数

标签 统计

apache-beam ×1