相关疑难解决方法(0)

如何在Spark中对GroupedData进行自定义操作?

我想重写一些用RDD编写的代码来使用DataFrames.在我找到这个之前,它工作得非常顺利:

 events
  .keyBy(row => (row.getServiceId + row.getClientCreateTimestamp + row.getClientId, row) )
  .reduceByKey((e1, e2) => if(e1.getClientSendTimestamp <= e2.getClientSendTimestamp) e1 else e2)
  .values
Run Code Online (Sandbox Code Playgroud)

它很简单

 events
  .groupBy(events("service_id"), events("client_create_timestamp"), events("client_id"))
Run Code Online (Sandbox Code Playgroud)

但下一步是什么?如果我想迭代当前组中的每个元素怎么办?它甚至可能吗?提前致谢.

grouping scala apache-spark

6
推荐指数
1
解决办法
3267
查看次数

标签 统计

apache-spark ×1

grouping ×1

scala ×1