在hadoop中更改目录的复制因子

Question

当我希望更改适用于将来写入该目录的文件时,有没有办法在Hadoop中更改目录的复制因子？

Answer 1

您可以使用以下命令更改文件的复制因子:

hdfs dfs –setrep –w 3 /user/hdfs/file.txt 

您还可以使用命令更改目录的复制因子:

hdfs dfs -setrep -R 2 /user/hdfs/test

但是,更改目录的复制因子只会影响现有文件,并且将使用dfs.replication from hdfs-site.xml群集的默认复制因子()创建目录下的新文件.

请参阅链接以了解更多信息.

请参阅配置HDFS复制因子的链接.

但您可以通过传递临时覆盖并关闭HDFS默认复制因子:

-D dfs.replication=1

使用Map/Reduce作业传递时,这应该可以正常工作.这只是你的工作.