Ive使用Glue Data目录创建了一个EMR集群。调用spark-shell时,我可以通过以下方式成功列出存储在Glue数据库中的表:
spark.catalog.setCurrentDatabase("test")
spark.catalog.listTables
Run Code Online (Sandbox Code Playgroud)
但是,当我通过提交工作时spark-submit出现致命错误
ERROR ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: Database 'test' does not exist.;
Run Code Online (Sandbox Code Playgroud)
我创建工作中我SparkSession通过提交spark-submit经
SparkSession.builder.enableHiveSupport.getOrCreate
Run Code Online (Sandbox Code Playgroud)