一些背景资料:
我正在使用 Dataiku DSS、HDFS 和分区数据集。我有一个特定的作业正在运行(Hive 查询),它有两个输入数据集 - 一个是非常大的分区数据集,另一个是小的(~250 行,2 列)非分区数据集。我们称分区表 A 和非分区表 B。
题:
查询格式如下,
SELECT a.f1, f2, ..., fn
FROM A as a
LEFT JOIN B as b
ON a.f1 = b.f1
WHERE {PARTITION_FILTER}
Run Code Online (Sandbox Code Playgroud)
这是 MapReduce 作业的当前输出(请记住,该作业仍在运行):
[09:05:53] [INFO] [dku.utils] - INFO : Total jobs = 4
[09:05:53] [INFO] [dku.utils] - INFO : Starting task [Stage-10:CONDITIONAL] in serial mode
[09:05:53] [INFO] [dku.utils] - INFO : Stage-11 is filtered out by condition resolver.
[09:05:53] [INFO] [dku.utils] - INFO : Stage-1 …Run Code Online (Sandbox Code Playgroud)