小编Eug*_*kin的帖子

带有Hive Metastore 3.1.0的Apache Spark 2.3.1

我们将HDP群集升级到3.1.1.3.0.1.0-187,并发现:

  1. Hive具有新的Metastore位置
  2. Spark看不到Hive数据库

实际上我们看到:

org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ... not found
Run Code Online (Sandbox Code Playgroud)

您能帮助我了解发生了什么以及如何解决吗?

更新:

组态:

(spark.sql.warehouse.dir,/ warehouse / tablespace / external / hive /)(spark.admin.acls,)(spark.yarn.dist.files,file:///opt/folder/config.yml,file :///opt/jdk1.8.0_172/jre/lib/security/cacerts)(spark.history.kerberos.keytab,/ etc / security / keytabs / spark.service.keytab)(spark.io.compression.lz4。 blockSize,128kb)(spark.executor.extraJavaOptions,-Djavax.net.ssl.trustStore = cacerts)(spark.history.fs.logDirectory,hdfs:/// spark2-history /)(spark.io.encryption.keygen。算法,HmacSHA1)(spark.sql.autoBroadcastJoinThreshold,26214400)(spark.eventLog.enabled,true)(spark.shuffle.service.enabled,true)(spark.driver.extraLibraryPath,/ usr / hdp / current / hadoop-client / lib / native:/ usr / hdp / current / hadoop-client / lib / native / Linux-amd64-64)(spark.ssl.keyStore,/ etc / security / serverKeys / server-keystore.jks)(spark.yarn .queue,默认)(spark.jars,文件:/opt/folder/component-assembly-0.1.0-SNAPSHOT.jar)(spark.ssl.enabled,true)(spark.sql.orc.filterPushdown,true)(spark.shuffle.unsafe.file.output.buffer, 5m)(spark.yarn.historyServer.address,master2.env.project:18481)(spark.ssl.trustStore,/ etc / security / clientKeys / all.jks)(spark.app.name,com.company.env。 component.MyClass)(spark.sql.hive.metastore.jars,/ usr / hdp / current …

hive apache-spark apache-spark-sql hive-metastore hdp

4
推荐指数
1
解决办法
2798
查看次数

Kubernetes 上的 Jenkins 部署有日志问题

我在 Kubernetes 上进行了 Jenkins 部署。它工作正常,但是当我尝试显示容器日志时发生错误。

$ kubectl logs jenkins-5b587f57b8-tfz2f
Can not write to /var/jenkins_home/copy_reference_file.log. Wrong volume permissions?
touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied
Run Code Online (Sandbox Code Playgroud)

jenkins kubernetes

2
推荐指数
1
解决办法
888
查看次数