简单的 gcloud 数据流管道:
PubsubIO.readStrings().fromSubscription -> Window -> ParDo -> DatastoreIO.v1().write()
当负载应用于 pubsub 主题时,消息会被读取但不会被确认:
2017 年 7 月 25 日下午 4:20:38 org.apache.beam.sdk.io.gcp.pubsub.PubsubUnboundedSource$PubsubReader stats INFO:Pubsub projects/my-project/subscriptions/my-subscription 已收到 1000 条消息,950 条当前未读消息,843346 个当前未读字节,970 个当前飞行中消息,28367ms 最旧飞行中,1 个当前飞行中检查点,2 个最大飞行中检查点,770B/s 最近读取,1000 个最近接收,0 个最近扩展,0 个最近延迟扩展, 50 最近确认, 990 最近 NACK , 0 最近过期, 898 毫秒最近消息时间戳偏斜, 9224873061464212 毫秒最近水印偏斜, 0 最近延迟消息, 2017-07-25T23:16:49.437Z 最后报告水印
哪个管道步骤应该确认消息?
google-cloud-datastore google-cloud-pubsub google-cloud-dataflow