小编Pat*_*rix的帖子

三角洲湖上的蜂巢表

我是 Spark 和 Delta Lake 的新手。我正在增量表之上创建配置单元表。我有必要的罐子 delta-core-shaded- assembly_2.11-0.1.0.jar、hive-delta_2.11-0.1.0.jar;在蜂巢类路径中。设置以下属性。

SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;
Run Code Online (Sandbox Code Playgroud)

但是在创建表时

CREATE EXTERNAL TABLE hive_table(col1 INT, col2 STRING) STORED BY 'io.delta.hive.DeltaStorageHandler' LOCATION '/path/to/my/delta/table'

得到以下异常:

FAILED:执行错误,从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J

两个表的模式匹配。堆栈详细信息:Spark:2.4.4 Hive:1.2.1

任何帮助深表感谢。提前致谢。

hive apache-spark delta-lake

5
推荐指数
1
解决办法
3671
查看次数

标签 统计

apache-spark ×1

delta-lake ×1

hive ×1