相关疑难解决方法(0)

Hive Map-Join 配置之谜

有人可以清楚地解释两者之间的区别是什么

hive.auto.convert.join
Run Code Online (Sandbox Code Playgroud)

hive.auto.convert.join.noconditionaltask
Run Code Online (Sandbox Code Playgroud)

配置参数?

还有这些对应的尺寸参数:

hive.mapjoin.smalltable.filesize
Run Code Online (Sandbox Code Playgroud)

hive.auto.convert.join.noconditionaltask.size
Run Code Online (Sandbox Code Playgroud)

我的观察是在 Tez 上运行时,Map-Join 在hive.auto.convert.join.noconditionaltask.size设置为足够高的值时工作, 即使hive.mapjoin.smalltable.filesize设置的值小于小表的大小。

为什么我们两者都需要

hive.auto.convert.joinhive.auto.convert.join.noconditionaltask

Apache文档非常混乱。

hive query-optimization hiveql mapjoin hive-configuration

4
推荐指数
1
解决办法
4486
查看次数