如何避免为Hive查询生成空的.deflate文件？

Question

当我运行Hive查询时,.deflate会生成大量空文件(它们实际上大约是8个字节,我认为这是.deflate文件的最小大小).我怀疑这种情况正在发生,因为查询需要大量的reducer.我想知道是否有办法避免生成这些空.deflate文件？

提前致谢,

林

Answer 1

.deflate 是默认值 compression codec

有一些压缩设置Hive可用于减少Hive用于其的磁盘空间量queries.

当属性时hive.exec.compress.output=true,Hive将使用codec由mapred.map.output.compression.codec属性配置来压缩存储HDFS.这些属性可以在hive.site.xml或中设置Hive-CLI.

要从.启用输出压缩Hive-CLI:

hive> set hive.exec.compress.output=true;

使用启用输出压缩 hive.site.xml

<property>
 <name>hive.exec.compress.output</name>
 <value>true</value>
</property>

所以要禁用该.deflate文件:

组 hive.exec.compress.output=false;