相关疑难解决方法(0)

带AWS Glue的Spark Catalog:找不到数据库

Ive使用Glue Data目录创建了一个EMR集群。调用spark-shell时,我可以通过以下方式成功列出存储在Glue数据库中的表:

spark.catalog.setCurrentDatabase("test")
spark.catalog.listTables
Run Code Online (Sandbox Code Playgroud)

但是,当我通过提交工作时spark-submit出现致命错误

ERROR ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: Database 'test' does not exist.;
Run Code Online (Sandbox Code Playgroud)

我创建工作中我SparkSession通过提交spark-submit

SparkSession.builder.enableHiveSupport.getOrCreate
Run Code Online (Sandbox Code Playgroud)

amazon-emr apache-spark aws-glue

2
推荐指数
3
解决办法
5207
查看次数

标签 统计

amazon-emr ×1

apache-spark ×1

aws-glue ×1