在Spark结构化流中组合窗口(groupBy)和mapGroupsWithState(groupByKey)

tmi*_*miu 7 apache-spark spark-structured-streaming

当前使用Spark 2.2.0结构化流。

给定带有水印的带有时间戳的数据流,是否有一种方法可以将(1)groupBy通过时间戳字段和其他分组条件实现开窗的操作与(2)相结合groupByKey,以便应用于mapGroupsWithState自定义会话的组?

还是我必须以某种方式将开窗和其他分组逻辑嵌入其中groupByKey

对于上下文:

编辑

SPARK-21641现在已跟踪该问题- 在Spark Structured Streaming中组合窗口(groupBy)和mapGroupsWithState(groupByKey)