Spark 中可以创建持久视图吗?

Jam*_*Gan 6 apache-spark pyspark

我正在学习 Spark,发现我可以通过调用以下 pySpark API 之一在 Spark 中创建临时视图:

df.createGlobalTempView("people")
df.createTempView("people")
df.createOrReplaceTempView'("people")
Run Code Online (Sandbox Code Playgroud)

我可以创建一个永久视图,使其可供 Spark 集群的每个用户使用吗?认为如果已经为人们定义了视图,这将节省人们的时间。

hi-*_*zir 3

是的,但你必须使用 SQL:

spark.sql("CREATE VIEW persistent_people AS SELECT * FROM people")
Run Code Online (Sandbox Code Playgroud)