未找到 Spark AnalysisException 全局表或视图

Question

我收到以下错误：

18/03/14 15:31:11 错误 ApplicationMaster：用户类抛出异常：org.apache.spark.sql.AnalysisException：找不到表或视图：产品；第 1 行 位置 42

这是我的代码：

val spark = SparkSession
                .builder()
                .appName("Test")
                .getOrCreate()

val products = spark.read.parquet(productsPath)
products.createGlobalTempView("products")

val q1 = spark.sql("SELECT PERCENTILE(product_price, 0.25) FROM products").map(_.getAs[Double](0)).collect.apply(0)

我究竟做错了什么？是否可以在不使用的情况下在 Spark 中做同样的事情sql？

Answer 1

临时视图

只需createOrReplaceTempView用作

products.createOrReplaceTempView("products")

val q1 = spark.sql("SELECT PERCENTILE(product_price, 0.25) FROM products").map(_.getAs[Double](0)).collect.apply(0)

全球临时视图

如果您使用全局临时视图，那么您应该这样做

products.createGlobalTempView("products")

val q1 = spark.sql("SELECT PERCENTILE(product_price, 0.25) FROM global_temp.products").map(_.getAs[Double](0)).collect.apply(0)