使用 SparkConf 创建 SparkSession 对象时出现问题

Question

我是 Spark 新手，需要有关以下问题的一些指导 - 每当我尝试使用 SparkConf 对象创建 SparkSession 对象时，我都会收到以下错误 -

AttributeError：“SparkConf”对象没有属性“_get_object_id”

我在本地模式下使用 Spark 2.3 和 Python 3.7 。

sconf=SparkConf.setAppName("test")
ss=SparkSession.builder.config(conf=sconf).getOrCreate()

我已经阅读了互联网上提供的一些解决方案，但没有一个解决了我的问题。

即使当我尝试直接创建 SparkSession 对象（即没有显式 SparkConf 对象）时，我也会收到相同的错误 -

ss=SparkSession.builder.master("local").getOrCreate()

AttributeError: 'SparkConf' object has no attribute '_get_object_id'

Answer 1

您可能缺少括号 sconf=SparkConf().setAppName("test") 如果它不起作用，我在本地尝试了以下有效的方法

from pyspark.sql import SparkSession
from pyspark import SparkConf
sconf=SparkConf().setAppName("test")
ss=SparkSession.builder.config(conf=sconf).getOrCreate()