小编sub*_*kar的帖子

spark mapwithstate如何访问在多个微型计算机上构建的所有密钥

如何访问由几个微型计算机构建的所有密钥的状态.

val stateSpec = StateSpec.function(stateUpdate _)
  .numPartitions(numPartitions)
  .timeout(Seconds(7200))
  // ... multiple steps....
  val sessionizedTuples =  endTimedTuples.mapWithState(stateSpec)
  // ..... multiple steps.....
Run Code Online (Sandbox Code Playgroud)

我通过微批量成功更新密钥状态,最终得到了很多密钥.获取所有键及其状态的方法是什么,以便我可以对它们应用一些rdd函数,我看到的所有方法都是微批处理级别,而不是整个集合构建的时间.

scala apache-spark spark-streaming

3
推荐指数
1
解决办法
753
查看次数

标签 统计

apache-spark ×1

scala ×1

spark-streaming ×1