Hadoop MapReduce,Java实现问题

Question

目前我正在使用Apache Hadoop(使用Java实现MapReduce作业).我查看了一些示例(如WordCount示例).我在编写自定义mapreduce应用程序(我正在使用Cloudera Hadoop Demo VM)方面取得了成功.我的问题是关于一些实现和运行时问题.

工作类的原型如下:

public class WordCount {

  public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
    public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
    // mapping
      }
    }
  }

  public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
    public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
      // reducing
    }
  }

  public static void main(String[] args) throws Exception {
    JobConf conf = new JobConf(WordCount.class);
    conf.setJobName("wordcount");
    // setting map and reduce classes, and various configs
    JobClient.runJob(conf);
  }
}

我有一些问题,我试图谷歌他们,但我必须告诉hadoop的文件是非常正式的(像一本大的参考书),不适合初学者.

我的问题:

• Map和Reduce类必须是Main类中的静态内部类,还是它们可以在任何地方(从Main可见)？
• 你可以使用Java SE和可用库提供的任何东西,就像普通的Java SE应用程序一样吗？我的意思是,像JAXB,Guava,Jackson for JSON等
• 编写通用解决方案的最佳做法是什么？我的意思是:我们希望以不同(但略微相似)的方式处理大量日志文件.日志文件的最后一个标记始终是带有一些条目的JSON映射.一个处理可以是:按日志行计数和分组(keyA,来自地图的keyB),另一个可以是:按日志行计数和分组(keyX,来自地图的keyY).(我正在考虑一些基于配置文件的解决方案,您可以在其中提供实际必要的条目,如果您需要新的解决方案,您只需提供配置并运行应用程序).
• 可能是相关的:在WordCount示例中,Map和Reduce类是静态内部类,而main()对它们没有影响,只是将这些类提供给框架.你能使这些类非静态,提供一些字段和构造函数来改变运行时的一些当前值(比如我提到的配置参数).

也许我在不必要地挖掘细节.整体问题是:hadoop mapreduce程序仍然是我们习惯的普通JavaSE应用程序吗？

Answer 1

这是你的答案.

1. 只要MapTask/ReduceTask的类加载器能够加载mapper/reducer类,mapper和reducer类就可以在包结构中的任何位置的单独Java类中,也可以在单独的jar文件中.您展示的示例是为Hadoop初学者进行快速测试.

2. 是的,您可以使用任何Java库.这些第三方jar应该通过命令-files选项hadoop jar或使用Hadoop API 提供给MapTask/ReduceTask .在此处查看此链接有关将第三方库添加到Map/Reduce类路径的更多信息

3. 是的,您可以使用这些方法之一配置并将配置传递到Map/Reduce Jobs.

   3.1使用org.apache.hadoop.conf.Configuration下面的对象在客户端程序中设置配置(带有main()方法的Java类)

   Configuration conf = new Configuration(); conf.set("config1", "value1"); Job job = new Job(conf, "Whole File input");

Map/Reduce程序可以访问Configuration对象并使用get()方法获取为属性设置的值.如果配置设置很小,建议采用此方法.

3.2使用分布式缓存加载配置并使其在Map/Reduce程序中可用.单击此处了解分布式缓存的详细信息 这种方法更可取.

4. main()是客户端程序,负责配置和提交Hadoop作业.如果未设置任何配置,则将使用默认设置.Mapper类,Reducer类,输入路径,输出路径,输入格式类,减速器数等配置.例如:

另外,请查看有关作业配置的文档

是的,Map/Reduce程序仍然是JavaSE程序,但是它们分布在Hadoop集群中的机器上.可以说,Hadoop集群有100个节点并提交了单词计数示例.Hadoop框架为每个Map和Reduce任务创建Java进程,并调用回调方法,例如map()/reduce()数据存在的机器子集.实质上,mapper/reducer代码在数据存在的机器上执行.我建议你阅读The Definitive Guide的第6章

我希望这有帮助.