Hadoop每文件块大小

Question

在Hadoop书中,据说我们可以在创建文件时指定每个文件的块大小.

"增加分割大小的最自然的方法是在HDFS中设置更大的块,方法是设置dfs.block.size,或者在文件构建时基于每个文件."

知道如何在文件构建时执行此操作.我希望通过将其设置为value = file-size,该文件将不会被拆分

Answer 1

你可以使用CLI:

hadoop fs -D dfs.block.size=file-size -put local_name remote_location

或者,如果要创建或复制文件,可以使用Java API指定dfs.block.size.

Configuration conf = new Configuration();
conf.setInt("dfs.block.size",file-size);