从SparkSession中检索SparkContext

Question

我正在运行一个Spark批处理作业并使用,SparkSession因为我需要很多spark-sql功能来处理我的每个组件.它SparkContext在我的父组件中初始化,并作为传递给子组件SparkSession.

在我的一个子组件中,我想为我添加两个以上的配置SparkContext.因此,我需要检索SparkContext从SparkSession,停止并重新创建SparkSession与额外的配置.为此,我如何从SparkSession中检索SparkContext？

Answer 1

只是作为答案发布 - 可以使用spark.sparkContext(无括号)从SparkSession访问SparkContext

Answer 2

SparkContext 字段似乎不再是公共的（我使用的是 Spark 2.3.2），但是，您可以使用同名的方法检索它：

spark.sparkContext()

这仅适用于 Spark Java。