createOrReplaceGlobalTempView和createOrReplaceTempView之间的区别

nee*_*ani 5 apache-spark pyspark

我试图了解createOrReplaceGlobalTempView和createOrReplaceTempView之间的区别。

在版本2.0中引入了createOrReplaceTempView,在版本2.2中引入了createOrReplaceGlobalTempView。

根据文档,

对于createOrReplaceGlobalTempView:此临时视图的生存期与此Spark应用程序相关。

对于createOrReplaceGlobalTempView:此临时表的生存期与用于创建此DataFrame的SparkSession绑定在一起。

您能否详细说明一下Spark Application和SparkSession的区别。

问候,

内拉杰

hi-*_*zir 5

标准临时表位于用户空间,类似于 Hive

这些表中的数据存储在用户的临时目录中,而不是 Hive 仓库目录中。临时目录实际上充当用户的数据沙箱。

并且仅限于单个用户会话。

全局临时视图在可被多个会话访问的方式上有所不同,因此存在普通视图(可以全局访问,它注册在全局临时数据库中)和临时视图(其范围仅限于一个范围)之间的中间视图。单次会话)。