小编Ale*_*dre的帖子

HDFS中参数"mapred.min.split.size"的行为

参数"mapred.min.split.size"会更改先前写入文件的块的大小吗?假设我在启动JOB时传递参数"mapred.min.split.size",其值为134217728(128MB).关于会发生什么事情的说法是正确的?

1 - 每个MAP进程相当于2个HDFS块(假设每个块64MB);

2 - 我的输入文件(以前包括HDFS)将有一个新的划分来占用HDFS 128M中的块;

hadoop hdfs

7
推荐指数
1
解决办法
3万
查看次数

标签 统计

hadoop ×1

hdfs ×1