我想从我的数据框中访问特定列的最小值和最大值,但我没有列的标题,只有它的数字,所以我应该使用scala吗？
也许是这样的:
val q = nextInt(ncol) //we pick a random value for a column number
col = df(q)
val minimum = col.min()
对不起,如果这听起来像一个愚蠢的问题,但我找不到关于这个问题的任何信息:/
我有这样的数据帧:
+---+---+
|_c0|_c1|
+---+---+
|1.0|4.0|
|1.0|4.0|
|2.1|3.0|
|2.1|3.0|
|2.1|3.0|
|2.1|3.0|
|3.0|6.0|
|4.0|5.0|
|4.0|5.0|
|4.0|5.0|
+---+---+
我想在Scala中使用Spark来洗牌所有行.
如何在不返回RDD的情况下完成此操作？