从SparkSession获取JavaSparkContext

Question

我正在使用一个SparkSession来运行我的spark应用程序,因为我使用了很多spark-sql功能.我想用它JavaSparkContext来从列表中创建一个RDD.但通过会议,我只能得到一个普通的 SparkContext.有没有办法在这个方向上改变背景？

Answer 1

确定后SparkContext,您可以使用:

SparkContext sc = ...
JavaSparkContext jsc = JavaSparkContext.fromSparkContext(sc);

这将返回您的新实例JavaSparkContext,但只要您只维护一个活动实例就没有问题SparkContext.

Answer 2

是的,你可以用这样的spark会话来做到这一点:

   val spark = SparkSession.builder()
         .config(sparkConf)
         .getOrCreate()

    val jsc = new JavaSparkContext(spark.sparkContext)

或者在java中,它将是:

SparkSession spark = SparkSession.builder().config(sparkConf).getOrCreate();
JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());