为什么我不需要在 Databricks 中创建 SparkSession？

Question

为什么我不需要在 Databricks 中创建 SparkSession？集群设置的时候会自动创建一个SparkSession吗？还是其他人帮我做的？

Answer 1

这仅在笔记本中完成，以简化用户的工作并避免他们指定不同的参数，其中许多参数不会产生任何效果，因为 Spark 已经启动。此行为类似于启动spark-shellor时得到的结果pyspark- 它们都初始化SparkSessionand SparkContext：

Spark context available as 'sc' (master = local[*], app id = local-1635579272032).
SparkSession available as 'spark'.

但是，如果您将 jar 或 Python Wheel 中的代码作为作业运行，那么您有责任创建相应的对象。