三角洲湖上的蜂巢表

Question

我是 Spark 和 Delta Lake 的新手。我正在增量表之上创建配置单元表。我有必要的罐子 delta-core-shaded- assembly_2.11-0.1.0.jar、hive-delta_2.11-0.1.0.jar；在蜂巢类路径中。设置以下属性。

SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;

但是在创建表时

CREATE EXTERNAL TABLE hive_table(col1 INT, col2 STRING) STORED BY 'io.delta.hive.DeltaStorageHandler' LOCATION '/path/to/my/delta/table'

得到以下异常：

FAILED：执行错误，从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J

两个表的模式匹配。堆栈详细信息：Spark：2.4.4 Hive：1.2.1

任何帮助深表感谢。提前致谢。

Answer 1

Hive with Delta Lake 仅支持 Spark 3.0 和 Delta 版本 0.7.0。

<dependency>
  <groupId>io.delta</groupId>
  <artifactId>delta-core_2.12</artifactId>
  <version>0.7.0</version>
</dependency>