Spark中sort和orderBy函数有什么区别

Question

sort和orderBy spark DataFrame有什么区别？

scala> zips.printSchema
root
 |-- _id: string (nullable = true)
 |-- city: string (nullable = true)
 |-- loc: array (nullable = true)
 |    |-- element: double (containsNull = true)
 |-- pop: long (nullable = true)
 |-- state: string (nullable = true)

以下命令产生相同的结果:

zips.sort(desc("pop")).show
zips.orderBy(desc("pop")).show

Answer 1

OrderBy只是sort函数的别名.

从Spark文档:

  /**
   * Returns a new Dataset sorted by the given expressions.
   * This is an alias of the `sort` function.
   *
   * @group typedrel
   * @since 2.0.0
   */
  @scala.annotation.varargs
  def orderBy(sortCol: String, sortCols: String*): Dataset[T] = sort(sortCol, sortCols : _*)

Answer 2

他们是不是在SAME。

所述排序子句用于返回在用户指定的顺序在每个分区内排序的结果行。当有多个分区时 SORT BY 可能会返回部分排序的结果。

参考：https : //spark.apache.org/docs/latest/sql-ref-syntax-qry-select-sortby.html

的ORDER BY子句用于以排序的方式在用户指定的顺序返回结果行。与 SORT BY 子句不同，该子句保证输出中的总顺序。

参考：https : //spark.apache.org/docs/latest/sql-ref-syntax-qry-select-orderby.html