"无法导入名称SparkSession"

Question

我无法从pyspark.sql导入SparkSession,但我可以导入Row

我的spark-1.6.0-bin-hadoop2.6安装在一个docker容器中,系统是centos

我该如何解决这个问题？这个问题困扰了我很长一段时间

Answer 1

你不能使用它,因为它不存在,你使用的Spark版本是1.6,而SparkSession是在2.0.0中引入的.

你可以在这里看到:https://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html

您可以从这里下载Spark 2.0.0:http://spark.apache.org/downloads.html