Hadoop MapReduce:可以在一个hadoop作业类中定义两个映射器和缩减器吗？

Question

我有两个独立的java类用于执行两个不同的mapreduce作业.我可以独立运行它们.它们运行的​​输入文件对于这两个作业都是相同的.所以我的问题是,是否可以在一个java类中定义两个映射器和两个reducer

mapper1.class
mapper2.class
reducer1.class
reducer2.class

然后喜欢

job.setMapperClass(mapper1.class);
job.setmapperClass(mapper2.class);
job.setCombinerClass(reducer1);
job.setCombinerClass(reducer2);
job.setReducerClass(reducer1);
job.setReducerClass(reducer2);

这些设置方法是否实际覆盖了以前的方法或添加新方法？我尝试了代码,但它执行了唯一的最新给定的类,这让我认为它会覆盖.但是必须有一种方法可以做到这一点吗？

我问这个的原因是我只能读取输入文件一次(一个I/O),然后处理两个map reduce作业.我也想知道如何将输出文件写入两个不同的文件夹.目前,两个作业都是独立的,需要输入和输出目录.

Answer 1

您可以拥有多个映射器,但在一个作业中,您只能拥有一个reducer.你需要的功能是MultipleInput,MultipleOutput和GenericWritable.

使用MultipleInput,您可以设置映射器和相应的inputFormat.这是我关于如何使用它的帖子.

使用时GenericWritable,您可以在reducer中分隔不同的输入类.这是我关于如何使用它的帖子.

使用MultipleOutput,您可以在同一个reducer中输出不同的类.

Answer 2

为此，您可以使用 MultipleInputs 和 MultipleOutputs 类，但两个映射器的输出都将发送到两个化简器。如果两个映射器/减速器对的数据流确实彼此独立，则将它们保留为两个单独的作业。顺便说一句，MultipleInputs 将无需更改即可运行您的映射器，但必须修改化简器才能使用 MultipleOutputs