相关疑难解决方法(0)

Hadoop:...被复制到0个节点而不是minReplication(= 1).有1个数据节点在运行,并且在此操作中不排除任何节点

尝试写入HDFS作为我的多线程应用程序的一部分时,我收到以下错误

could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and no node(s) are excluded in this operation.
Run Code Online (Sandbox Code Playgroud)

我在这里尝试了重新格式化的最高评价答案,但这对我不起作用:HDFS错误:只能复制到0个节点,而不是1个节点

这是怎么回事:

  1. 我的应用程序由2个线程组成,每个线程配置有自己的Spring Data PartitionTextFileWriter
  2. 线程1是第一个处理数据的,它可以成功写入HDFS
  3. 但是,一旦线程2开始处理数据,我在尝试刷新文件时会收到此错误

线程1和2不会写入同一文件,尽管它们在我的目录树的根目录下共享一个父目录.

我的服务器上的磁盘空间没有问题.

我也在我的名称 - 节点日志中看到了这一点,但不确定它的含义:

2016-03-15 11:23:12,149 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 1 to reach 1 (unavailableStorages=[], storagePolicy=BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}, newBlock=true) For more information, please enable DEBUG log level on org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy
2016-03-15 11:23:12,150 WARN org.apache.hadoop.hdfs.protocol.BlockStoragePolicy: Failed to place enough replicas: …
Run Code Online (Sandbox Code Playgroud)

configuration hadoop hdfs

24
推荐指数
2
解决办法
2万
查看次数

标签 统计

configuration ×1

hadoop ×1

hdfs ×1