没有映射器的MapReduce作业

Question

这可能是一个非常基本的问题,但对我这样的许多新手来说仍然有帮助.

可以在没有映射器的情况下进行MR工作吗？我们需要实现这个以及实现此目的的方法吗？

Answer 1

IdentityMapper是一个将输入直接映射到输出的映射器.

假设你有一个格式为键值的输入,并且你在mapper阶段没有任何关系,你唯一想做的就是根据键对值进行分组并做一些在reducer阶段对值进行聚合操作,可以使用此映射器.

Answer 2

如果 MapReduce 程序员没有使用 JobConf.setMapperClass 设置 Mapper 类，则 IdentityMapper.class 将用作默认值。

如果您没有提及映射器，那么就会有一个映射器正在运行。因此在任何情况下至少都会有一个映射器正在运行。

http://www.fromdev.com/2010/12/interview-questions-hadoop-mapreduce.html

Answer 3

我看到MR工作没有Mapper，只有reduce部分。你的要求很特别。

在我看来，如果没有映射器，MR 工作就没有意义。