如何从DataFrame获取最后一行？

Question

我有一个DataFrame，该DataFrame有两列“值”和“时间戳”，“ timestmp”是有序的，我想获取DataFrame的最后一行，我该怎么办？

这是我的输入：

+-----+---------+
|value|timestamp|
+-----+---------+
|    1|        1|
|    4|        2|
|    3|        3|
|    2|        4|
|    5|        5|
|    7|        6|
|    3|        7|
|    5|        8|
|    4|        9|
|   18|       10|
+-----+---------+

这是我的代码：

    val arr = Array((1,1),(4,2),(3,3),(2,4),(5,5),(7,6),(3,7),(5,8),(4,9),(18,10))
    var df=m_sparkCtx.parallelize(arr).toDF("value","timestamp")

这是我的预期结果：

+-----+---------+
|value|timestamp|
+-----+---------+
|   18|       10|
+-----+---------+

Answer 1

试试这个，对我有用。

df.orderBy($"value".desc).show(1)

Answer 2

我只想reduce：

df.reduce { (x, y) => 
  if (x.getAs[Int]("timestamp") > y.getAs[Int]("timestamp")) x else y 
}