相关疑难解决方法(0)

Beam 的强大功能来自于它先进的窗口功能，但它也有点令人困惑。

在本地测试中看到一些奇怪的地方（我使用rabbitmq作为输入源），其中消息并不总是被发送ack，并且固定的窗口并不总是关闭，我开始挖掘StackOverflow和Beam代码库。

似乎对于何时设置确切的水印存在特定于源的问题：

• RabbitMQ 水印不前进：Apache Beam：RabbitMqIO 水印不前进
• PubSub 水印不会因低容量而前进：https ://issues.apache.org/jira/browse/BEAM-7322
• SQS IO 在没有新传入消息的一段时间内不会提前水印 - https://github.com/apache/beam/blob/c2f0d282337f3ae0196a7717712396a5a41fdde1/sdks/java/io/amazon-web-services/src/main/ java/org/apache/beam/sdk/io/aws/sqs/SqsIO.java#L44

（和别的）。此外，似乎存在与 相对的Checkpoints ( s) 的独立概念。CheckpointMarkWatermarks

所以我认为这是一个由多部分组成的问题：

1. 什么代码负责移动水印？它似乎是源和运行器的某种组合，但我似乎无法真正找到它来更好地理解它（或根据我们的用例调整它）。这对我来说是一个特殊的问题，因为在流量较低的时期，水印永远不会前进，并且消息不会被ack删除。
2. 我没有看到太多关于检查点/检查点标记概念的文档（非代码 Beam 文档没有讨论它）。CheckpointMark 如何与 Watermark 交互（如果有的话）？