我想重写一些用RDD编写的代码来使用DataFrames.在我找到这个之前,它工作得非常顺利:
events
.keyBy(row => (row.getServiceId + row.getClientCreateTimestamp + row.getClientId, row) )
.reduceByKey((e1, e2) => if(e1.getClientSendTimestamp <= e2.getClientSendTimestamp) e1 else e2)
.values
Run Code Online (Sandbox Code Playgroud)
它很简单
events
.groupBy(events("service_id"), events("client_create_timestamp"), events("client_id"))
Run Code Online (Sandbox Code Playgroud)
但下一步是什么?如果我想迭代当前组中的每个元素怎么办?它甚至可能吗?提前致谢.