如何在HDFS中仅保存非空减速器的输出

Question

在我的应用程序中,reducer将所有部分文件保存在HDFS中,但我只希望reducer将编写大小不是0bytes的部分文件.请让我知道如何定义它.

Answer 1

有可能 - 请参阅"延迟输出"的文档部分:

http://hadoop.apache.org/mapreduce/docs/current/mapred_tutorial.html#Lazy+Output+Creation

import org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat;
LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class);