tmi*_*miu 7 apache-spark spark-structured-streaming
当前使用Spark 2.2.0结构化流。
给定带有水印的带有时间戳的数据流,是否有一种方法可以将(1)groupBy通过时间戳字段和其他分组条件实现开窗的操作与(2)相结合groupByKey,以便应用于mapGroupsWithState自定义会话的组?
还是我必须以某种方式将开窗和其他分组逻辑嵌入其中groupByKey?
对于上下文:
groupBy在数据集上支持窗口化的calling 返回一个没有的RelationalGroupedDatasetmapGroupsWithState。
调用groupByKey(支持mapGroupsWithState)返回KeyValueGroupedDataset,但不支持窗口!
编辑:
SPARK-21641现在已跟踪该问题- 在Spark Structured Streaming中组合窗口(groupBy)和mapGroupsWithState(groupByKey)。
| 归档时间: |
|
| 查看次数: |
780 次 |
| 最近记录: |