多个表连接在配置单元中

Question

我已将Teradata表的数据迁移到配置单元中.

现在我必须在导入的数据之上构建汇总表.需要从五个源表构建汇总表

如果我使用连接,我需要加入五个表,是否可以在蜂巢中？或者我应该分五个部分打破查询？这个问题应该是什么方法？

请建议

Answer 1

蜂巢中的五种连接当然是可能的,并且(自然地)可能慢到非常慢.

您应该考虑对表进行共同分区

• 相同的分区列
• 相同数量的分区

其他选项包括提示.例如,考虑其中一个表是否很大而其他表是否较小.然后,您可以使用streamtble提示

假设a很大:

SELECT /*+ STREAMTABLE(a) */ a.val, b.val, c.val, d.val, e.val 
FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1) join d on (d.key = c.key) join e on (e.key = d.key)

改编自: https ://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins:

所有五个表都连接在一个map/reduce作业中,表b,c,d和e的键的特定值的值缓存在reducers的内存中.然后,对于从a检索的每一行,使用缓冲的行计算连接.如果省略了STREAMTABLE提示,则Hive会在连接中流式传输最右边的表.

另一个提示是mapjoin,它可用于在内存中缓存小表.

假设a很大且b,c,d,e小到足以适合每个映射器的内存:

 SELECT /*+ MAPJOIN(b,c,d,e) */  a.val, b.val, c.val, d.val, e.val 
 FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1) 
 join d on (d.key = c.key) join e on (e.key = d.key)