获取Spark作业的app运行ID

Question

我想,从我运行Spark工作的地方,获得该工作的唯一ID.

通过Spark主节点网站,我可以看到该ID.它是这样的:

ID: app-20140429125304-0452

在创建一份正在运行的工作时,有没有办法解决这个问题？也许通过SparkContext？

Answer 1

是的,正如你所说:

sc.applicationId
res0: String = app-20150224184813-11531

(这是火花1.2)

请参阅API文档

• https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

Answer 2

对于那些使用pyspark的人,请参阅这个几乎相同的问题:如何从PySpark上下文中提取应用程序ID

@vvladymyrov的答案让我在纱线客户端模式下运行pyspark.

>>> sc._jsc.sc().applicationId()
u'application_1433865536131_34483'

Answer 3

spark: org.apache.spark.sql.SparkSession从Spark 2.0+开始使用介绍

scala> spark.sparkContext.applicationId
res1: String = app-20170228091742-0025