如何从 SparkSession 获取作业或应用程序 ID？

Joh*_*ass 2 apache-spark apache-spark-sql

我知道如何从sparkContext. 有没有办法从中获取 jobID / ApplicationID SparkSession？

在sparkContext，我们可以

sc.applicationId
res0: String = app-20150224184813-11531

Run Code Online (Sandbox Code Playgroud)

解决方案是SparkContext通过SparkSession.

spark.sparkContext.applicationId
res0: String = app-20150224184813-11531

Run Code Online (Sandbox Code Playgroud)

归档时间：	7 年，10 月前
查看次数：	2978 次
最近记录：	7 年，10 月前

Spark SQL SaveMode.Overwrite,获取java.io.FileNotFoundException并要求'REFRESH TABLE tableName' 11

仅对RDD的子集执行操作 10

TypeError：列不可迭代-如何遍历ArrayType（）？ 9

在YARN中部署时,Apache Spark如何处理系统故障？ 8

我可以使用spark-csv将表示为字符串的CSV读入Apache Spark 6

将 Spark DataFrame 写入 Parquet 时出现 Py4JError 6

如何修复“ MetadataFetchFailedException：缺少用于随机播放的输出位置”？ 5

火花流的奇怪延迟 5

如何将spark sql数据框的摘要写入excel文件 3

DataFrame.count() == 0 Vs DataFrame.rdd.isEmpty()：哪个更好，为什么？ 2

在函数中使用全局变量 2939

如何在Bash中连接字符串变量 2624

迭代字典的最佳方法是什么？ 2455

如何在Git中更改多个提交的作者和提交者名称以及电子邮件？ 2282

如何在Python中连接两个列表？ 2250

静态类变量是否可能？ 1824

如何检查字符串是否为数字(浮点数)？ 1519

require,include,require_once和include_once之间的区别？ 1166

Visual Studio中的构建解决方案,重建解决方案和清洁解决方案之间的区别？ 1081

如何删除选择框的所有选项,然后添加一个选项并使用jQuery选择它？ 1028