目标副本为10但发现3副本

Question

我该如何解决这个问题？

/tmp/hadoop-yarn/staging/ubuntu/.staging/job_1450038005671_0025/job.jar: Under replicated BP-938294433-10.0.1.190-1450037861153:blk_1073744219_3398. Target Replicas is 10 but found 3 replica(s).

当我hadoop fsck /在主节点中运行时,我得到了这个.我假设我应该.xml在conf或类似的东西中更改文件我只是不知道要更改哪个文件.

请注意,dfs.replicationin hdfs-site.xml已设置为3. dfs.replication.max我的hdfs-site.xml文件中没有.

Answer 1

作为工作的一部分提交的文件(jar等)的复制计数由mapred-site.xml中的参数mapreduce.client.submit.file.replication(或mapred.submit.replication2.4之前的集群)控制.您可以为小于10个节点的群集调低此值,或者忽略来自fsck的消息.

FWIW,有一个JIRA,但我怀疑它会不会工作.