相关疑难解决方法(0)

如何找到火花RDD /数据帧大小?

我知道如何在scala中找到文件大小.但是如何在spark中找到RDD/dataframe大小?

斯卡拉:

object Main extends App {
  val file = new java.io.File("hdfs://localhost:9000/samplefile.txt").toString()
  println(file.length)
}
Run Code Online (Sandbox Code Playgroud)

火花:

val distFile = sc.textFile(file)
println(distFile.length)
Run Code Online (Sandbox Code Playgroud)

但如果我处理它没有获得文件大小.如何找到RDD大小?

scala apache-spark rdd

28
推荐指数
3
解决办法
6万
查看次数

标签 统计

apache-spark ×1

rdd ×1

scala ×1