Piy*_*sal 4 compression hadoop mapreduce
我必须使用Snappy压缩地图o/p和map-reduce o/p.此外,这应该是可分割的.
当我在网上学习时,为了让Snappy写出可拆分的o/p,我们必须以类似Container的形式使用它.
你能建议怎么做吗？我尝试在网上找到一些例子,但不能很好.我正在使用Hadoop v0.20.203.
谢谢.PIYUSH
输出
conf.setOutputFormat(SequenceFileOutputFormat.class);
SequenceFileOutputFormat.setOutputCompressionType(conf, CompressionType.BLOCK);
SequenceFileOutputFormat.setCompressOutput(conf, true);
conf.set("mapred.output.compression.codec","org.apache.hadoop.io.compress.SnappyCodec");
用于地图输出
Configuration conf = new Configuration();
conf.setBoolean("mapred.compress.map.output", true);
conf.set("mapred.map.output.compression.codec","org.apache.hadoop.io.compress.SnappyCodec");