分组比较器的代表键

Question

在Hadoop,我可以设置一个分组比较器,以确定在一个reduce调用中哪些键(及其值)被聚合在一起.但是reduce的签名只有一个关键,所以如果我决定根据一个属性将复合键组合在一起,那么在reduce调用中会向reducer提供什么键呢？

Answer 1

这取决于它是如何实施的。从实际导致分组比较器实现的问题的描述来看，可以明确地说，这是将被带到reduce方法的键的第一次出现。

假设您的减少输入如下所示：

A1, V1
A2, V2
A3, V3
B1, V4
B2, V5

而不是接到减少调用，如下所示：

reduce(A1,
{V1}
); reduce(A2,
{V2}
); reduce(A3,
{V3}
); reduce(B1,
{V4}
); reduce(B2,
{V5}
);

您可以定义分组比较器来比较字母并最终得到：

reduce(A1,
{V1,V2,V3}
); reduce(B1,
{V4,V5}
);

这是使用分组比较器后的期望结果。