小编Mau*_*one的帖子

如何在不知道作业ID的情况下获得Apache Spark工作进度?

我有以下作为一个例子:

val sc: SparkContext // An existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val df = sqlContext.read.json("examples/src/main/resources/people.json")

df.count
Run Code Online (Sandbox Code Playgroud)

我知道我可以使用Spark上下文监视作业,使用SparkListener; 然而,这给了我所有工作的事件(我不能使用,因为我不知道工作ID).

如何才能获得"计数"操作的进度?

apache-spark

8
推荐指数
1
解决办法
825
查看次数

标签 统计

apache-spark ×1