我有一个有3个块的file.txt(块a,块b,块c).hadoop如何将这些块写入Cluster ..我的问题是hadoop是否遵循并行写入？或者块b是否必须等待块a写入群集？或阻止a和块b和块c平行写入hadoop簇...
将文件从本地文件系统复制到HDFS或在HDFS中创建新文件时:按顺序复制块 - 首先,将第一个块复制到datanode,然后将第二个块复制到datanode,依此类推.
然而,并行完成的是副本放置:当datanode从客户端接收块的数据时,datanode将数据保存在表示块的文件中,并同时将数据重新发送到另一个datanode,这应该是创建块的另一个副本.
将文件从一个位置复制到HDFS群集内的另一个位置或两个HDFS群集之间时:使用DistCp并行执行此操作.
| 归档时间： |
|
| 查看次数： |
1236 次 |
| 最近记录： |