小编Dav*_*ill的帖子

为什么在这个 MapReduce 中最后的 reduce 步骤非常慢?(HiveQL、HDFS MapReduce)

一些背景资料:

我正在使用 Dataiku DSS、HDFS 和分区数据集。我有一个特定的作业正在运行(Hive 查询),它有两个输入数据集 - 一个是非常大的分区数据集,另一个是小的(~250 行,2 列)非分区数据集。我们称分区表 A 和非分区表 B。

题:

查询格式如下,

SELECT a.f1, f2, ..., fn
  FROM A as a
  LEFT JOIN B as b
  ON a.f1 = b.f1
WHERE {PARTITION_FILTER}
Run Code Online (Sandbox Code Playgroud)

这是 MapReduce 作业的当前输出(请记住,该作业仍在运行):

[09:05:53] [INFO] [dku.utils]  - INFO  : Total jobs = 4
[09:05:53] [INFO] [dku.utils]  - INFO  : Starting task [Stage-10:CONDITIONAL] in serial mode
[09:05:53] [INFO] [dku.utils]  - INFO  : Stage-11 is filtered out by condition resolver.
[09:05:53] [INFO] [dku.utils]  - INFO  : Stage-1 …
Run Code Online (Sandbox Code Playgroud)

performance reduce hive mapreduce hdfs

7
推荐指数
1
解决办法
2307
查看次数

标签 统计

hdfs ×1

hive ×1

mapreduce ×1

performance ×1

reduce ×1