为什么spark-shell无法启动SQL上下文？

Question

我使用spark-2.0.2-bin-hadoop2.7并设置了Spark环境.我已经完成了大部分安装和配置步骤,但最后,我发现了一些与在线教程不同的东西.

日志缺少该行:

SQL上下文可用作sqlContext.

当我运行spark-shell时,它只是启动Spark上下文.为什么SQL上下文没有启动？

在正常情况下,是否应该同时运行以下两行代码？

Spark context available as sc
SQL context available as sqlContext.

Answer 1

从Spark 2.0开始,使用SparkSession(因为SQL Context/sqlContext被"重命名"为SparkSession/ spark).

运行spark-shell时,您将获得对此spark会话的引用spark.你应该看到以下内容:

Spark会话可用作'spark'.

如果要访问基础SQL上下文,可以执行以下操作:

spark.sqlContext

请不要,因为它不再需要,大多数操作都可以在没有它的情况下执行.