相关疑难解决方法(0)

我有mapreduce工作:我的代码Map类:

public static class MapClass extends Mapper<Text, Text, Text, LongWritable> {

    @Override
    public void map(Text key, Text value, Context context)
        throws IOException, InterruptedException {
    }
}

我想使用ChainMapper:

1. Job job = new Job(conf, "Job with chained tasks");
2. job.setJarByClass(MapReduce.class);
3. job.setInputFormatClass(TextInputFormat.class);
4. job.setOutputFormatClass(TextOutputFormat.class);

5. FileInputFormat.setInputPaths(job, new Path(InputFile));
6. FileOutputFormat.setOutputPath(job, new Path(OutputFile));

7. JobConf map1 = new JobConf(false);

8. ChainMapper.addMapper(
        job, 
        MapClass.class, 
        Text.class, 
        Text.class, 
        Text.class, 
        Text.class, 
        true, 
        map1
        ); 

但其报告在第8行有错误:

此行的多个标记 - "addMapper"的出现 - ChainMapper类型中的方法addMapper(JobConf,Class>,Class,Class,Class,Class,boolean,JobConf)不适用于参数(Job,Class,Class,类,类,类,布尔值,配置) - 调试当前指令指针 - ChainMapper类型中的方法addMapper(JobConf,Class>,Class,Class,Class,Class,boolean,JobConf)不适用于参数(JobConf,类,类,类,类,类,布尔值,JobConf)

我有两个独立的java类用于执行两个不同的mapreduce作业.我可以独立运行它们.它们运行的​​输入文件对于这两个作业都是相同的.所以我的问题是,是否可以在一个java类中定义两个映射器和两个reducer

mapper1.class
mapper2.class
reducer1.class
reducer2.class

然后喜欢

job.setMapperClass(mapper1.class);
job.setmapperClass(mapper2.class);
job.setCombinerClass(reducer1);
job.setCombinerClass(reducer2);
job.setReducerClass(reducer1);
job.setReducerClass(reducer2);

这些设置方法是否实际覆盖了以前的方法或添加新方法？我尝试了代码,但它执行了唯一的最新给定的类,这让我认为它会覆盖.但是必须有一种方法可以做到这一点吗？

我问这个的原因是我只能读取输入文件一次(一个I/O),然后处理两个map reduce作业.我也想知道如何将输出文件写入两个不同的文件夹.目前,两个作业都是独立的,需要输入和输出目录.