HDFS在存储时是否加密或压缩数据？

Question

例如,当我将文件放入HDFS时

$ ./bin/hadoop/dfs -put /source/file input

• 存储时压缩文件吗？
• 存储时文件是否加密？是否有我们可以指定的配置设置来更改它是否加密？

Answer 1

还有是在HDFS的隐式压缩.换句话说,如果您希望压缩数据,则必须以这种方式编写数据.如果您计划编写map reduce作业来处理压缩数据,则需要使用可拆分压缩格式.

Hadoop可以处理压缩文件,这里有一篇很好的文章.而且,可以压缩中间和最终MR输出.

"HDFS中的透明压缩" 有一个JIRA,但我没有看到太多进展.

我认为没有单独的加密API,但您也可以使用压缩编解码器进行加密/解密.以下是有关加密和HDFS的更多详细信息.