在Apache Spark中按多个字段排序

Question

我有一个火花的RDD.RDD的每个元素都是一个列表.而且,所有元素都是相似模式的列表,所以它有点像表.我需要按特定优先级顺序按某些列排序RDD.

我怎样才能做到这一点？

PS:这是我试过的.

我尝试按优先级最高的字段排序,然后按其分组,然后按优先级次高的字段对每个结果进行排序.我递归地做了这个,并加入了结果.但是,使用RDD.groupBy这么多次使它非常慢.

Answer 1

如果您只想按升序/降序排序,则需要使用两个部分:

• RDD.rdd.sortBy" 按给定的方式keyfunc " 排序(...)RDD的功能

• 知识Python lists和tuples字典比较:

  >>> (1, 2) < (3, 4)
  True
  >>> (5, 6) < (3, 4)
  False
  >>> ("foo", 1) < ("foo", 2, 5)
  True
  >>> ("bar", 1, 2) > ("bar", 1)
  True
  

简单地将这两者结合起来就可以了rdd.sortBy(lambda x: (x[0], x[3])),你很高兴.

如果您需要在非数字值上混合排序(按某些值降序,按其他升序),您可以将此逻辑嵌入到内部keyfunc或将RDD转换为DataFrame并使用orderBy方法desc:

df.orderBy(desc("foo"), "bar")