我有以下作为一个例子:
val sc: SparkContext // An existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.read.json("examples/src/main/resources/people.json")
df.count
Run Code Online (Sandbox Code Playgroud)
我知道我可以使用Spark上下文监视作业,使用SparkListener; 然而,这给了我所有工作的事件(我不能使用,因为我不知道工作ID).
如何才能获得"计数"操作的进度?
apache-spark ×1