数据流作业的初始状态

Question

我正在试图弄清楚我们如何"播种"某些流式数据流作业的窗口状态.场景是我们有一个论坛消息流,我们希望一直为每个主题发出一个运行的消息计数,因此我们有一个带有全局窗口的流数据流作业,并且每次有一个主题的记录进入时都会触发到目前为止一切都很好.但是在流源之前,我们有一个大文件,我们想要处理这些文件以获取历史记录,因为主题永远存在,我们需要历史计数来通知流源的输出,所以我们很友好'我需要相同的逻辑来运行文件,然后在文件耗尽时开始在流源上运行,同时保持窗口状态.

目前的想法:

• 编写一个自定义无限制的源代码.读取文件直到它耗尽,然后开始从流中读取.没有多大乐趣,因为编写自定义源代码并不是很有趣.
• 在批处理模式下通过文件运行逻辑,并且最后一步以某种方式将状态发送到流接收器,然后具有从状态流和数据流读取的逻辑启动的流式版本,并以某种方式组合二.这似乎有一定道理,但不确定如何确保流式作业在从数据流读取之前读取从状态源到初始化的所有内容.
• 将历史数据传输到流中,编写从两个流中读取的作业.与第二种解决方案相同的问题,不确定如何确保首先"消耗"一个流.

编辑:最新选项,以及我们要做的是,编写计算工作,使事件到达的顺序无关紧要,因此我们只需将存档推送到pub/sub主题,一切都会奏效.这适用于这种情况,但显然它影响下游消费者(需要支持更新或撤消),所以我有兴趣知道人们有什么其他解决方案来播种他们的窗口状态.

Answer 1

您可以执行要点 2 中建议的操作 -- 运行两个管道（在同一个主管道中），第一个管道从大文件中填充 pubsub 主题。这与StreamingWordExtract示例的操作类似。