小编JoR*_*oot的帖子

合并hdfs文件

我在HDFS中有1000多个文件,其命名约定1_fileName.txtN_fileName.txt.每个文件的大小为1024 MB.我需要将这些文件合并为一个(HDFS)并保持文件的顺序.说5_FileName.txt应该只追加4_fileName.txt

执行此操作的最佳和最快方法是什么.

是否有任何方法可以在不复制数据节点之间的实际数据的情况下执行此合并?例如:获取此文件的块位置并在Namenode中创建具有这些块位置的新条目(FileName)?

hadoop hdfs

19
推荐指数
3
解决办法
4万
查看次数

标签 统计

hadoop ×1

hdfs ×1